Bessere Leistung und schnellere Geschwindigkeit für Large Language Models durch Mehr-Token-Vorhersage

 (arxiv.org)
1 Punkte von GN⁺ 2024-05-02 | 1 Kommentare | Auf WhatsApp teilen

Verbesserung des Trainings großer Sprachmodelle durch Mehr-Token-Vorhersage

  • GPT und Llama werden wie andere Large Language Models mit dem Verlust für die Vorhersage des nächsten Tokens trainiert.
  • In dieser Arbeit wird vorgeschlagen, dass sich die Proben-Effizienz verbessert, wenn das Sprachmodell darauf trainiert wird, mehrere zukünftige Tokens gleichzeitig vorherzusagen.
  • Konkret wird das Modell an jeder Position im Trainingskorpus dazu aufgefordert, die nächsten n Tokens vorherzusagen, wobei es auf einem gemeinsamen Modelltrunk aufbauend auf n unabhängige Ausgabeköpfe zurückgreift.
  • Wird die Mehr-Token-Vorhersage als Nebenaufgabe betrachtet, wird bei Code- und Modellen für natürliche Sprache eine Verbesserung untergeordneter Fähigkeiten ohne zusätzlichen Trainings-Overhead gemessen.

Mit größerer Modellgröße wirksamer und auch bei Multi-Epochen-Training attraktiv

  • Diese Methode ist besonders wirksam für größere Modelle und behält ihren Reiz auch bei Training über mehrere Epochen.
  • Der Vorteil ist besonders in Generierungs-Benchmarks wie Coding ausgeprägt, wobei das Modell im Vergleich zu einer starken Baseline regelmäßig um mehrere Prozentpunkte besser abschneidet.
  • Das 13B-Parameter-Modell löst 12% mehr Aufgaben in HumanEval und 17% mehr im MBPP.

Nützlich für die Entwicklung von Induction Heads und algorithmischem Schließen

  • Experimente mit kleinen algorithmischen Aufgaben zeigen, dass die Mehr-Token-Vorhersage für die Entwicklung von Induction Heads und die algorithmische Schlussfolgerungsfähigkeit vorteilhaft ist.
  • Als zusätzlicher Vorteil läuft ein mit 4-Token-Vorhersage trainiertes Modell bei großen Batch-Größen mit bis zu 3-fach höherer Inferenzgeschwindigkeit.

GN⁺-Meinung

  • Dies ist eine interessante Studie, die ein neues Trainingsverfahren zur Verbesserung der Effizienz von Sprachmodellen vorschlägt. Besonders auffällig ist, dass die Leistungsverbesserung bei größeren Modellen deutlicher ist.

  • Es wäre sinnvoll, zusätzliche Experimente dazu zu sehen, wie die Mehr-Token-Vorhersage das Lernen langfristiger Abhängigkeiten beeinflusst. Beispielsweise wäre es aufschlussreich, die Leistungsänderungen bei Aufgaben mit fernem Kontext wie referenzieller Auflösung über Satzgrenzen hinweg zu untersuchen.

  • Es ist bemerkenswert, dass die Leistungssteigerung bei bestimmten Generierungsaufgaben wie Coding oder Matheaufgaben groß war. Zugleich ist es spannend, wie stark der Effekt bei allgemeinen Natural-Language-Understanding- oder QA-Tasks ausfällt. Es wäre wünschenswert, die Ergebnisse auf einer größeren Vielfalt von Benchmarks zu ergänzen.

  • Die Beschleunigung der Inferenzgeschwindigkeit kann im praktischen Einsatz ein großer Vorteil sein. Insbesondere in Chatsystemen oder Frage-Antwort-Systemen mit Echtzeitanforderungen scheint das äußerst vorteilhaft zu sein.

  • Angesichts der zunehmenden Aufmerksamkeit für RLHF-basierte Modelle wie Anthropic Constitutional AI oder OpenAI InstructGPT ist diese Studie insofern bedeutsam, als sie zeigt, dass Sprachmodellleistung auch allein mit überwachten Lernmethoden verbessert werden kann. Die Frage der ethischen Werteinordnung ist weiterhin offen, aber in Bezug auf Trainingseffizienz stellt der Ansatz einen wettbewerbsfähigen Weg dar.

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2024-05-02
Hacker News Kommentar

Zusammenfassung:

  • In LLMs braucht es eine leicht verständliche Erklärung dafür, in welchem Kontext Begriffe wie Daten, Pretraining, Training, Inferenz, Mixture of Experts und RAG verwendet werden.
  • Self-speculative Decoding speist die vorhergesagte Label-Sequenz wieder in das Netzwerk ein und behält die Vorhersagen nur bis zu dem Punkt bei, an dem sie übereinstimmen. So lässt sich die Geschwindigkeit erhöhen, ohne dass die Leistung sinkt.
  • LLMs berücksichtigen derzeit nicht die Wahrscheinlichkeitsverteilungen über alle Token-Kombinationen bis zur aktuellen Ausgabelänge, und es wäre zu erwarten, dass die Leistung besser wäre, wenn man das berücksichtigen würde.
  • Ein interessantes Forschungsthema wäre, die Kreuzentropie-Verlustfunktion eines LLMs so zu modifizieren, dass im Trainingsdatensatz nur das n-te zukünftige Token berücksichtigt wird, und die LLM-Performance in Abhängigkeit von n zu analysieren.
  • Es wird gefragt, ob es einen Weg gibt, den Zustand der vom LLM ausgegebenen Tokens für die nächste Antwort zu nutzen.
  • Es wird gefragt, wie man ein LLM darauf trainieren könnte, einen Vektor vorherzusagen, der die Bedeutung des gesamten Satzes kodiert.
  • Die Erläuterung in Abschnitt 5.2 des Papers ist etwas knapp. Insbesondere ist die Erklärung dafür, warum H(Y|X) verworfen wird, unklar.
  • Man könnte erwägen, das LLM einen kleinen PixelCNN-ähnlichen Decoder für die nächsten N Tokens ausgeben zu lassen, um die bedingten Wahrscheinlichkeiten zukünftiger Tokens zu modellieren.
  • Ich frage mich, ob man nicht nur die nächsten n Tokens vorhersagt, sondern auch weiter entfernte Tokens wie 128, 512, 2048, um langfristige Diskursstrukturen zu lernen.
  • Man wirft die Frage auf, wie man das Problem löst, wenn bei der Vorhersage mehrerer Tokens wechselseitige Interferenz entsteht.