Der überraschend einfache Mechanismus, mit dem LLMs gespeichertes Wissen abrufen

MIT-Forschende demonstrieren Technik zur Wissenssuche in großen Sprachmodellen

• Es wurde entdeckt, dass große Sprachmodelle beim Beantworten von Nutzer-Prompts einen einfachen Mechanismus verwenden, um gespeichertes Wissen abzurufen.
• Die Forschenden können diesen einfachen Mechanismus nutzen, um herauszufinden, was das Modell über verschiedene Themen weiß, und falsch gespeicherte Informationen zu korrigieren.

Die Komplexität großer Sprachmodelle

• Große Sprachmodelle werden in vielen Bereichen eingesetzt, etwa im Kundensupport, bei der Code-Generierung und in der Sprachübersetzung, doch ihre Funktionsweise ist noch nicht vollständig verstanden.
• Forschende von MIT und anderen Institutionen untersuchten den Mechanismus, mit dem diese riesigen Machine-Learning-Modelle gespeichertes Wissen abrufen.

Ein einfacher Mechanismus zum Wissensabruf

• Die Forschungsergebnisse zeigen, dass große Sprachmodelle häufig eine einfache lineare Funktion verwenden, um gespeicherte Fakten wiederzufinden und zu entschlüsseln.
• Das Modell verwendet für ähnliche Arten von Fakten dieselbe Entschlüsselungsfunktion.
• Eine lineare Funktion ist eine Gleichung, die eine geradlinige Beziehung zwischen zwei Variablen darstellt.

Erkunden, was das Modell weiß

• Durch die Identifizierung linearer Funktionen für verschiedene Fakten erkundeten die Forschenden, was das Modell über neue Themen weiß, und stellten fest, wo dieses Wissen im Modell gespeichert ist.
• Mithilfe der entwickelten Technik und der geschätzten einfachen Funktionen fanden sie heraus, dass das Modell selbst dann oft die richtigen Informationen gespeichert hat, wenn es falsche Antworten gibt.

Visualisierung des Wissens im Modell

• Die Forschenden nutzten die Funktionen, um zu bestimmen, was das Modell über verschiedene Themen tatsächlich für wahr hält.
• Sie begannen zum Beispiel mit dem Prompt „Bill Bradley was a“ und verwendeten Entschlüsselungsfunktionen für „plays sports“ und „attended university“, um zu prüfen, ob das Modell weiß, dass Bradley Basketballspieler war und die Princeton University besucht hat.
• Mit dieser Erkundungstechnik erstellten sie ein Raster namens „Attribut-Linse“, das visualisiert, wo Informationen zu bestimmten Beziehungen in den verschiedenen Schichten des Transformers gespeichert sind.

Meinung von GN⁺

• Diese Forschung verbessert das Verständnis dafür, wie große Sprachmodelle faktisches Wissen speichern und abrufen, einen deutlichen Schritt weiter.
• Die Ergebnisse deuten darauf hin, dass sich Wissen korrigieren und Fehler von AI-Chatbots verhindern lassen könnten, um die Tendenz der Modelle zur Ausgabe falscher Informationen zu verringern.
• Wenn diese Technik eingesetzt wird, könnte sie zur Verbesserung der Zuverlässigkeit von AI beitragen und die Nutzererfahrung verbessern.
• Da jedoch nicht alle Fakten linear codiert sind, ist weitere Forschung nötig, um zu klären, ob diese Technik auf alle Arten des Wissensabrufs angewendet werden kann.
• Als Open-Source-Projekte mit ähnlicher Funktionalität werden Googles BERT und die GPT-Serie von OpenAI genannt; auch sie tragen zum Verständnis der Funktionsweise großer Sprachmodelle bei.
• Bei der Einführung neuer Technologien muss das Gleichgewicht zwischen der Komplexität des Modells und seiner Interpretierbarkeit berücksichtigt werden; ein möglicher Vorteil dieser Technik wäre eine höhere Genauigkeit und Zuverlässigkeit des Modells.

[GN⁺]

Hacker-News-Kommentare

• Diese erstaunliche Arbeit hebt einige der größten aktuellen Probleme im Bereich AI hervor

  • Wir versuchen nicht wirklich, mit Neuronen oder Regelsätzen zu arbeiten, die sich stark von Perzeptronen unterscheiden
  • Es ist nicht überraschend, dass sich die Perzeptron-Struktur als einfache Summenfunktion im Modell wiederholt
  • Es wird infrage gestellt, ob Feedforward-Topologie und einzelne Neuronenschritte tatsächlich optimal sind, nur weil sie sich am einfachsten trainieren und auf Grafikkarten ausführen lassen
  • Es gibt ungewöhnliche Trainingsmethoden und Encoding-Schemata, die nicht verwendet werden, weil große Libraries sie nicht unterstützen
  • Bis wir echte Veränderungen in den grundlegenden Regelsätzen neuronaler Netze sehen, werden wir immer mit Varianten des Perzeptrons kämpfen

• Die Struktur der Sprache macht Word2Vec möglich

  • Training auf Terabytes von menschlichem Text, kodiert mit Word2Vec + Positionskodierung, ermöglicht es, die nächste Kodierung auf übermenschlichem Niveau vorherzusagen
  • Der Bag-of-Words-Ansatz (als Ein-/Ausgabemethode) und das begrenzte Kontextfenster, das für Positionskodierung nötig ist, erzeugen eine große Diskrepanz zur internen kognitiven Struktur
  • Durch den Einsatz von viel mehr Rechenleistung in GPT-4 usw. könnten sich neue Formen der Repräsentation entwickeln, die Menschen noch entdecken müssen
  • MemGPT könnte aufgrund unbegrenzten Langzeitgedächtnisses letztlich AGI werden, wahrscheinlicher ist jedoch, dass es dem Protagonisten aus "Memento" ähnelt

• Hilft zu verstehen, was es bedeutet, dass Fakten als lineare Funktionen gespeichert werden

  • LLMs kodieren Fakten in einen N-dimensionalen "Faktenraum", betten Fakten als Punkte/Hyposphären/Voronoi-Mannigfaltigkeiten in diesen Raum ein, und das Abrufen von Fakten bedeutet, dass das neuronale Netz Schlüssel berechnet/erinnert und in diesem Raum ein Schlüssel-Wert-Lookup durchführt
  • Frage, wie sich ein solcher KV-Store in grafische Modelle der Kantenpropagation einbetten lässt und ob es dafür derzeit bekannte manuelle Techniken gibt
  • Eine interessante Verbindung zur Gedächtnistechnik des "Gedächtnispalasts", bei der das menschliche Gehirn Fakten in lineare Funktionen einbettet, um sie leicht abrufbar zu machen

• Neugier auf die Arten von Funktionen, die zum Kodieren von Programmierwissen verwendet werden

  • Überlegung, ob sich Standardbibliotheken oder andere Libraries direkt in das "Gehirn" eines LLM hochladen lassen, ohne kostspieliges Training oder leistungsverschlechterndes Fine-Tuning
  • Noch eine Science-Fiction-Fähigkeit, aber sie scheint näher zu rücken

• Ähnlichkeit zu dem, was Beziehungsvektoren in Word2Vec tun

  • Wenn man den Vektor für "von X" addiert, erhält man oft die richtige Antwort
  • Transformer könnten Entitäten einfach besser auf den Embedding-Raum abbilden

• LLMs wirken wie ein guter Komprimierungsmechanismus

  • Es ist erstaunlich, dass man mit einer lokalen Kopie von Llama auf dem PC fast Zugriff auf das gesamte Internet haben kann

• Erinnert an das Embedding-Beispiel "King - Man + Woman = Queen"

  • Erklärt, warum einfache lineare Funktionen effektiv funktionieren, weil Embeddings semantische Eigenschaften enthalten

• Es ist schwer zu verstehen, wie eine "CSV-Datei/Datenbank/ein Modell" mit 7 Milliarden "Parametern" ein wissensreiches interaktives LLM/GPT zu fast jedem Thema liefern kann

  • 4 Bit sind eine "Komprimierungsmethode", und das Modell sieht am Ende f32
  • Quantisierung ist der Prozess, bei dem 32-Bit-Gleitkommazahlen, also die Gewichte des neuronalen Netzes, auf viel kleinere Bitdarstellungen wie 4-Bit-Werte abgebildet werden
  • Dequantisierung geschieht bei der Nutzung des Modells und wandelt 4-Bit-quantisierte Gewichte in die Gleitkommazahlen um, mit denen die Berechnungen des Modells tatsächlich durchgeführt werden
  • Frage nach der Beziehung zwischen "Parametern" und der Zahl der "eindeutigen Tokens (Vokabulargröße)", die das Modell kennt
  • LLaMA hat im Vergleich zu GPT-3 eine Vokabulargröße von 32.000 und 65B Parameter
  • 6,5 Milliarden Parameter fungieren als komplexes Mapping-System, das auf gelernten Beziehungen zwischen Tokens in den Trainingsdaten basiert und bestimmt, wie auf eine gegebene Eingabe reagiert wird

• Gefällt, dass dieses Paper cool ist und Experimente durchgeführt hat, um diese Ideen zu validieren

  • Es wird infrage gestellt, wie neu die Idee selbst ist, wenn man bedenkt, dass LLMs auf natürliche Weise einfache statistische Tendenzen zwischen Wörtern lernen
  • Noch cooler ist, dass klar gezeigt wurde, dass sich nicht jedes Verhalten von LLMs so einfach erklären lässt

• Die Möglichkeit, den Schlussfolgerungsteil vom Informationsteil zu trennen

  • Falls das stimmt, wäre es eine sehr überraschende Entdeckung