Differential Transformer

• Transformer neigen oft dazu, irrelevanten Kontexten übermäßig viel Aufmerksamkeit zuzuweisen.

• Diff Transformer schlägt einen neuen Ansatz vor, der die Aufmerksamkeit für relevante Kontexte verstärkt und Rauschen entfernt.

• Differenzieller Aufmerksamkeitsmechanismus

  • Aufmerksamkeitsscores werden über die Differenz zweier separater Softmax-Aufmerksamkeitskarten berechnet.
  • Diese Subtraktion entfernt Rauschen und fördert das Entstehen spärlicher Aufmerksamkeitsmuster.

• Experimentelle Ergebnisse

  • In Sprachmodellierungs-Experimenten zeigt Diff Transformer bessere Leistung als Transformer bei verschiedenen Modellgrößen und Trainings-Token-Einstellungen.
  • In praktischen Anwendungen bietet es bemerkenswerte Vorteile bei der Modellierung langer Kontexte, dem Abruf von Kerninformationen, der Verringerung von Halluzinationen, In-Context Learning und der Reduzierung von Aktivierungs-Ausreißern.

• Praktische Vorteile

  • Da er sich weniger von irrelevanten Kontexten stören lässt, kann er Halluzinationen bei Frage-Antwort-Systemen und Textzusammenfassungen verringern.
  • Er verbessert nicht nur die Genauigkeit beim In-Context Learning, sondern erhöht auch die Robustheit gegenüber Reihenfolgeänderungen.

• Fazit

  • Diff Transformer etabliert sich als eine sehr effektive und vielversprechende Architektur zur Weiterentwicklung großer Sprachmodelle.

Zusammenfassung von GN⁺

• Diff Transformer ist eine neue Architektur, die vorgeschlagen wurde, um die Grenzen von Transformern zu überwinden, und sich darauf konzentriert, die Aufmerksamkeit für relevante Kontexte zu verstärken und unnötiges Rauschen zu entfernen.
• Diese Forschung verbessert die Leistung großer Sprachmodelle und hebt insbesondere die Vorteile in praktischen Anwendungen wie der Modellierung langer Kontexte hervor.
• Sie trägt dazu bei, Halluzinationen zu verringern, da sie weniger durch irrelevante Kontexte gestört wird, und erhöht die Genauigkeit und Robustheit des In-Context Learning.

[GN⁺]

Hacker-News-Kommentare

• Der übliche Softmax-Attention-Mechanismus hat Schwierigkeiten, für irrelevante Informationen Aufmerksamkeitsgewichte nahe 0 zuzuweisen. Die neue Methode löst das, könnte aber auch negative Aufmerksamkeitsgewichte erzeugen. Es ist schwer zu verstehen, wie das Netzwerk damit umgeht

• Solche Detailarbeit ist äußerst interessant. Die Änderung ist klein, sodass andere sie leicht anwenden können. Allerdings ist der letzte Satz im Abschnitt "2 Differential Transformer" nicht klar, was den Vergleich beeinflussen könnte

• In der neuen Welt des Machine Learning ist unklar, warum solche Methoden funktionieren. Die Analogie mit geräuschunterdrückenden Kopfhörern hilft, aber hier lassen sich Signal und Rauschen nicht klar unterscheiden

• Differential Attention entfernt Aufmerksamkeitsrauschen mithilfe der Differenz zweier Softmax-Attention-Funktionen. Diese Architektur verwendet für höherwertige Modelle doppelt so viel Attention-Speicher oder bei ähnlicher Qualität weniger Parameter

  • Ein DIFF Transformer mit 6.8B erreicht einen ähnlichen Validierungsverlust wie ein Transformer mit 11B und benötigt dabei nur 62.2% der Parameter
  • Ich frage mich, ob man mit nur 60% der Parameter ein ähnliches Speicherprofil wie bei einem traditionellen Transformer beibehalten kann
  • Ich frage mich, ob sich dieser Trade-off zwischen Training und Inferenz merklich verändert

• Wenn die beiden Attention-Gruppen dasselbe lernen, werden die Attention-Masken voneinander subtrahiert, sodass die Attention auf 0 fällt und der Verlust steigt. Um den Verlust zu senken, müssen sie unterschiedliche Dinge lernen. Eine Gruppe lernt die Strategie, sich auf relevanten Kontext zu konzentrieren, die andere auf irrelevanten Kontext

• Die Einstellung λᵢₙᵢₜ = 0.8 − 0.6 × exp(−0.3 · (l − 1)) funktioniert experimentell gut. Ich frage mich, was der Hintergrund dieser Formel ist

• Ich frage mich, wie wertvoll das Entfernen von Positionsrauschen ist. Ich würde gern eine Vergleichstabelle zwischen der alibi-Version und der alibi-Baseline sehen. Glückwunsch an die Forschenden

• Ich frage mich, was dabei verloren geht. Ich frage mich, welche Auswirkungen das auf Kreativität oder die Fähigkeit zur Interpolation zwischen Konzepten hat. Ich habe das Gefühl, dass Halluzinationen und Kreativität eng zusammenhängen

• Problemlösung ist gut, aber ich denke, der Ansatz ist falsch. Man sollte den gesamten Kontext hierarchisch erfassen. Wenn man den Differenzvektor mit demselben Input wie den Attention-Vektor berechnet, kann man nicht wissen, wie der Attention-Vektor korrekt angepasst werden soll

• Ich frage mich, ob Softmax Werte nicht gegen 0 drücken kann, man aber durch das Subtrahieren zweier Softmax-Maps 0 ausgeben kann