Jenseits der Self-Attention: Wie kleine Sprachmodelle das nächste Token vorhersagen

Einführung

• Dieser Beitrag untersucht, wie kleine Sprachmodelle das nächste Token vorhersagen.
• Statt sich auf den Self-Attention-Mechanismus von Transformer-Modellen zu konzentrieren, bietet er eine Erklärung dafür, wie die Ergebnisse der Aufmerksamkeitsberechnung in präzise Vorhersagen des nächsten Tokens umgewandelt werden.
• Der Autor untersucht die internen Zustände anhand eines funktionierenden kleinen Transformers und teilt wertvolle Ergebnisse aus einer sechsmonatigen intensiven Analyse.

Struktur des Transformer-Blocks

• Ein Transformer-Block besteht aus einer Multi-Head-Self-Attention-Schicht und einem Feedforward-Netzwerk.
• Die Ausgabe des Feedforward-Netzwerks ist der entscheidende Faktor dafür, wie der Block Eingaben in Ausgaben umwandelt.

Vorschlag: Wie Transformer funktionieren

• Jeder Transformer-Block lernt Gewichte, die einen gegebenen Prompt mit Klassen von Zeichenketten in den Trainingsdaten verknüpfen.
• Die Verteilung der Tokens, die auf diese Zeichenkettenklassen folgen, stimmt grob mit dem überein, was der Block als Vorhersage für das nächste Token ausgibt.

Umsetzung: Approximation der Transformer-Ausgabe mithilfe der Ausgabe des Feedforward-Netzwerks

• Der Autor stellt ein konkretes Verfahren vor, um die Ausgabe eines Transformers mithilfe der Ausgabe des Feedforward-Netzwerks zu approximieren.
• Das Verfahren beginnt damit, den Prompt durch das Modell laufen zu lassen und die Ausgaben des Feedforward-Netzwerks für jeden Block zu speichern.
• Anschließend werden in den Trainingsdaten Zeichenketten gesucht, die ähnliche Ausgaben des Feedforward-Netzwerks erzeugen, und es wird eine Häufigkeitsverteilung der Tokens aufgebaut, die auf diese Zeichenketten folgen.
• Diese Verteilungen werden gewichtet aufsummiert und normalisiert, um die finale Wahrscheinlichkeitsverteilung zu erhalten.

Meinung von GN⁺

• Diese Untersuchung vermittelt ein tiefes Verständnis der internen Funktionsweise von Transformer-Modellen. Besonders die Einblicke in die Prozesse nach der Self-Attention sind wichtig, um den Vorhersagemechanismus von Transformer-Modellen zu verstehen.
• Der Ansatz des Autors liefert eine klare Erklärung dafür, wie Transformer Muster in Trainingsdaten erkennen und auf dieser Grundlage das nächste Token vorhersagen.
• Der Beitrag kann für Menschen, die Transformer-Modelle erforschen oder entwickeln, eine nützliche Ressource sein und dazu beitragen, das Verständnis im Bereich der KI-gestützten Sprachverarbeitung zu vertiefen.

[GN⁺]

Hacker-News-Kommentare

• Über neue Phänomene sollte man nicht überrascht sein. Wenn man die bereits etablierten Theorien nicht liest, kann man über natürlich auftretende Phänomene leicht verwirrt sein.

  • Das Experiment wirkt gründlich, und die Aufmerksamkeit für Details ist beeindruckend.
  • Wichtig ist das Gleichgewicht zwischen dem Erlernen bestehender Theorien und dem Neuerfinden von Theorien von Grund auf.
  • Dass das Modell auf Basis der Trainingsdaten die Log-Likelihood maximiert, ist ein naheliegendes Ergebnis.
  • Es ist wichtig, die Grundlagen zu verstehen, und Shannons Entropietheorie kann dafür ein guter Ausgangspunkt sein.

• Positive Reaktion darauf, dass nach Googles Hinweis, ChatGPT gebe bei Wiederholung desselben Wortes seine Trainingsdaten wortwörtlich aus, jemand das tatsächlich umgesetzt hat.

  • Daraus ergeben sich weitere Fragen:
    1. Ist der Ansatz „AI ohne AI“ energieeffizienter als bestehende Verfahren zur Modellkompression?
    2. Könnten diese Ergebnisse als Beweismittel in Klagen gegen OpenAI und Stability AI verwendet werden?

• Überraschung darüber, dass Attention- und FF-(Feed-Forward-)Netzwerke in dieselbe Richtung zeigen.

  • Obwohl FF-Netzwerke eine beliebige Rotation durchführen können, hätte man nicht erwartet, dass sie über mehrere Schichten hinweg im selben latenten Raum liegen.

• Beim Training eines kleinen Modells nach Andrej Karpathys NanoGPT-Tutorial schien dieses komplexe russische Grammatik bis zu einem gewissen Grad zu verstehen.

  • Das Modell ist nicht perfekt, konnte aber nach nur drei Minuten Training komplexe Regeln ableiten.

• Frage, ob ein LLM ein Textgenerator auf Basis einer Markov-Kette ist.

  • Falls ja, wird die Frage aufgeworfen, ob sich mit den ursprünglichen Trainingsdaten eine Markov-Kette mit ähnlicher Leistung konstruieren ließe.

• Das untersuchte Modell ist in Wirklichkeit nur ein einfaches Spielzeugmodell und könnte auch mit einem noch einfacheren Modell approximiert werden.

  • Allerdings repräsentiert dieses Modell möglicherweise nicht die Funktionsweise größerer LLMs.

• Es ist schwer, genau zu verstehen, was der Autor behaupten will.

  • Der Abschnitt „Warum die Approximation funktioniert“ wurde mehrfach gelesen, wirkte aber nur wie eine schrittweise Erklärung des Transformers.

• Die 3D-Visualisierung des LLM-Systems ist hilfreich und sollte für maximale Wirkung zusammen mit dem Text gelesen werden.

• Ein merkwürdiger Beitrag darüber, was Transformer tatsächlich tun.

  • Wenn man dem Code folgt, kann man genau sehen, was der Transformer macht.