Der Stable-Diffusion-Moment kommt zu LLMs

• Die Veröffentlichung von Stable Diffusion (SD) im August 2022 war ein wichtiger Moment, und seitdem hält die explosionsartige Innovation bis heute an
• In letzter Zeit hat ControlNet MidJourney und DALL-E funktional übertroffen
• Die Veröffentlichung von SD hat neues Interesse an generativer KI geweckt, und mit dem Start von ChatGPT im November wurde diese Welle noch stärker
• Der SD-Moment kommt auch zu großen Sprachmodellen (LLMs)
• Sprachmodelle auf dem Niveau von GPT-3 lassen sich nun auf einem persönlichen Notebook ausführen

LLaMA

• LLMs wie GPT-3 sind in Aufbau und Betrieb deutlich teurer als Bildgenerierungsmodelle
• Die besten Modelle wurden von Unternehmen wie OpenAI entwickelt und sind per API zugänglich, werden aber nicht zur direkten lokalen Ausführung veröffentlicht
• Auch die Modelle selbst sind groß, sodass selbst mit einem GPT-3-Modell der Betrieb auf handelsüblicher Hardware unmöglich ist (es werden mehrere GPUs der A100-Klasse benötigt, die jeweils über 8000 US-Dollar kosten)
• In den vergangenen Jahren wurden viele Sprachmodelle veröffentlicht, aber die meisten eignen sich nicht zur direkten lokalen Ausführung
• Dank des LLaMA-Modells von Facebook und LLama.cpp hat sich alles verändert
• LLaMA ist nicht vollständig offen. Um auf das Modell zuzugreifen, muss man einigen strengen Bedingungen zustimmen
• Jemand hat einen inoffiziellen PR hochgeladen, der per Torrent heruntergeladen werden kann, wodurch das Modell verfügbar wurde

llama.cpp

• Wenn sich LLaMA nicht auf einem persönlichen Notebook ausführen lässt, ist es nicht besonders nützlich
• Der Bulgare Georgi Gerganov hat zuvor Whisper.cpp erstellt, eine C++-Portierung von OpenAIs Spracherkennungsmodell Whisper
• Er hat nun dasselbe für LLaMA getan
• Ziel ist die Ausführung sogar auf einem MacBook mithilfe von 4-Bit-Quantisierung (eine Technik zur Verkleinerung des Modells, damit es auch auf langsamer Hardware läuft)
• Dadurch wurde die Modellgröße auf 4 GB für das 7B-Modell und auf unter 8 GB für das 13B-Modell reduziert
• Auf einem MacBook läuft es sehr gut
• Das 13B-Modell, das laut Facebook mit GPT-3 konkurrieren kann, lässt sich nun auf einem Notebook ausführen
• Als ich den auf dem Notebook erzeugten Text sah, hatte ich das Gefühl, dass sich die Welt erneut verändert
• Ich dachte, ich müsste noch Jahre warten, um ein Modell auf GPT-3-Niveau auf meiner eigenen Hardware auszuführen, aber ich lag falsch. „Die Zukunft ist bereits hier“

Ist das der schlimmste Fall?

• Es geht nicht um Sorgen vor einem Science-Fiction-Szenario. Ein auf dem Notebook laufendes LLM wird auch nicht zu einer „weltherrschenden AGI“
• Aber es gibt viele Wege, wie diese Technologie für schlechte Zwecke eingesetzt werden kann
  • Spam-Erzeugung, automatisierter Romance-Scam, Trolling und Hassrede, Fake News und Desinformation, automatisierte Radikalisierung
• Vor diesem Moment gab es zumindest dünne Schutzschichten, etwa dadurch, dass Unternehmen wie OpenAI steuern konnten, wie Menschen mit solchen Modellen interagieren
• Da sie nun aber auf der eigenen Hardware ausgeführt werden können, verschwinden genau diese Kontrollmechanismen

Wie sollte man das für gute Zwecke nutzen?

• Ich denke, dass dies große Auswirkungen auf die Gesellschaft haben wird. Meine Priorität ist es, diese Auswirkungen in eine positive Richtung zu lenken
• Es ist leicht, in eine zynische Sichtweise zu verfallen und generative KI als schädlich oder als Zeitverschwendung abzutun
• Ich persönlich nutze generative KI-Tools jeden Tag. Sie haben mir einen greifbaren Produktivitätsschub gegeben und, noch wichtiger, meinen Ehrgeiz für die Projekte erweitert, an denen ich arbeite
• Letzte Woche habe ich mit ChatGPT in nur einer Stunde das AppleScript gelernt, das ich für ein neues Projekt brauchte
• Ich werde weiterhin positive Anwendungsmöglichkeiten dieser Technologie erkunden und teilen

Was man als Nächstes beobachten sollte

• Solange Facebook die Lizenzbedingungen nicht lockert, wird LLaMA wohl bei einem PoC dafür bleiben, dass solche Modelle auf Consumer-Hardware laufen können
• Inzwischen hat unter den Menschen ein Wettlauf begonnen, ein vollständig offenes Sprachmodell zu veröffentlichen, das auf dem eigenen Gerät Funktionen wie ChatGPT bereitstellt

[ffdd270]

Es wird erwähnt, dass es auf dem MacBook läuft; für die Einrichtung von LLAMA auf dem MacBook siehe bitte hier: https://dev.l1x.be/posts/2023/03/12/using-llama-with-m1-mac/

(Es wäre auch schön, wenn jemand anders dazu eine News schreiben würde 'm' b)

[dkmin]

Danke fürs Teilen.

[xguru]

Das ist ein Beitrag von Simon Willison, einem Stammgast bei GeekNews.
Wenn man seiner These folgt und solche Sprachmodelle auf privaten Geräten ausführbar werden, dann denke ich, dass sich der "Anspruch an Projekte bzw. der Umfang der Umsetzung erweitert".
Selbst wenn ich versuche, GeekNews um ChatGPT-bezogene Funktionen zu erweitern, denke ich wegen der API-Kosten noch einmal darüber nach.
Da man LLMs auf einem recht brauchbaren Niveau inzwischen auf privaten Geräten ausführen kann, erwarte ich, dass dadurch vielfältigere Anwendungsbereiche entstehen.

Ich habe es auch in der heutigen Ausgabe von GeekNews Weekly geschrieben,
aber damit über einen Technologietrend weiter gesprochen wird, ist entscheidend, in welchem Maß reale Unternehmen auf Basis dieser Technologie entwickelt, veröffentlicht und auf ein Niveau gebracht werden, das den Nutzern tatsächlich hilft.