Techniken zur Erkennung von Unsicherheit in LLMs
(thariq.io)Erkennung von Unsicherheit in LLMs
Dieser Artikel beschreibt eine neue Inferenztechnik, die im neuen Projekt Entropix von XJDR entwickelt wurde. Entropix versucht, die Inferenz von Modellen zu verbessern, indem es das Sampling in unsicheren Momenten intelligenter gestaltet. Es gibt jedoch noch keine groß angelegte Evaluierung, daher ist unklar, wie hilfreich es in der Praxis tatsächlich ist.
Überblick über Unsicherheit
- Sampling ist der Prozess, bei dem ein LLM aus der Verteilung möglicher Token (Logits) die nächsten Token auswählt.
- Wie sicher sich ein Modell bei seiner Vorhersage ist, lässt sich über diese Verteilung erkennen.
- Entropix verwendet adaptives Sampling, damit das Modell bei Unsicherheit bessere Entscheidungen trifft.
Bedeutung und Wichtigkeit von Unsicherheit
- Unsicherheit in den Logits kann verschiedene Ursachen haben, und nicht alle sind schlecht.
- Dazu gehören Synonyme oder gleichwertige Token, Verzweigungspfade oder Fälle, in denen die KI nicht sicher ist.
- Entropix schlägt vor, den nächsten Token je nach Ausmaß der Unsicherheit auf unterschiedliche Weise auszuwählen.
Entropie und Varentropie
- Entropix verwendet zwei Kennzahlen zur Messung von Unsicherheit: Entropie und Varentropie.
- Entropie misst, wie stark sich die vorhergesagten Logits voneinander unterscheiden.
- Varentropie beschreibt die „Form“ der Unsicherheit; eine hohe Varentropie bedeutet, dass einige Werte stark von anderen abweichen.
Mathematische Erklärung
- Surprisal ist ein Konzept zur Messung der Unvorhersehbarkeit eines Ereignisses.
- Entropie ist der Erwartungswert von Surprisal über alle möglichen Ergebnisse.
- Varentropie wird als Varianz von Surprisal berechnet.
Adaptives Sampling auf Basis von Entropie und Varentropie
Niedrige Entropie, niedrige Varentropie
- Das ist der ideale Fall, in dem das Modell nicht nur bei der ersten Option, sondern auch bei anderen Optionen sicher ist.
- Es wird Standard-Argmax-Sampling verwendet, um das Token mit der höchsten Wahrscheinlichkeit auszuwählen.
Niedrige Entropie, hohe Varentropie
- Das Modell sagt einige Optionen mit sehr hoher Wahrscheinlichkeit voraus.
- Das kann auf einen neuen Ausgabeverzweigungspfad hinweisen, und Verzweigungen können auf verschiedene Weise umgesetzt werden.
Hohe Entropie, niedrige Varentropie
- Das Modell sieht etwas, das es nicht erkennt, oder alle Optionen könnten gegeneinander austauschbar sein.
- Mit „Think“-Token wird das Modell dazu veranlasst, mehr Rechenzeit zu verwenden.
Hohe Entropie, hohe Varentropie
- Das Modell hat keine klare Präferenz, ist sich bei einigen Ausgaben aber sicherer als bei anderen.
- Man kann zufällig auswählen, verzweigen oder Think-Token einfügen.
Verzweigungen und Think-Token
- Verzweigungsvorhersage ist eine Methode, bei der einige Logits verfolgt werden, um zu sehen, zu welchen unterschiedlichen Token sie führen.
- Think-Token sind eine Möglichkeit, im Zustand von Unsicherheit mehr Rechenarbeit auszuführen.
Aufmerksamkeitsentropie
- Entropix verwendet Aufmerksamkeitsentropie zur Anpassung der Temperatur.
- Aufmerksamkeitsentropie und Aufmerksamkeitsübereinstimmung können zusätzliche Signale für das Sampling liefern.
Ist das wichtig?
- Die Einsichten von Entropix sind leicht zu verstehen und nicht völlig neu.
- Selbst wenn Evaluierungen keinen großen Vorteil zeigen, sind solche Inferenztechniken eine leicht zu erprobende Richtung.
Zusammenfassung von GN⁺
- Entropix schlägt einen neuen Ansatz zum Umgang mit Unsicherheit in LLMs vor.
- Mit Entropie und Varentropie lässt sich das Sicherheitsniveau des Modells messen, und durch adaptives Sampling können bessere Entscheidungen getroffen werden.
- Diese Techniken eröffnen Open-Source-Hackerinnen und -Hackern auch ohne großes Budget die Möglichkeit, die Inferenzfähigkeit von Modellen zu verbessern.
- Als Projekt mit ähnlichen Funktionen wird Hugging Face Transformers empfohlen.
1 Kommentare
Hacker-News-Kommentare
Charles Babbage war verwirrt über die Frage, ob falsche Eingaben richtige Ausgaben erzeugen können
Sampling-basierte Techniken mit Consumer-Hardware sind eine seltene Gelegenheit, SOTA-Modelle zu verbessern. Das wird jedoch nicht von Dauer sein; letztlich wird man trainierbare Sampler brauchen
Viele Probleme von LLMs werden durch semantisches Leck oder irrelevante Informationen verursacht. Möglicherweise gibt es Spielraum für Verbesserungen bei der Attention
Moderne GPTs geben Logits aus einem großen Klassifikator über das Token-Vokabular aus. Das liegt in einem Raum, und man kann eine Mannigfaltigkeit mit ungewöhnlichen Konvexitätseigenschaften berechnen
Es wird eine Funktion benötigt, mit der das Modell in Situationen mit hoher Entropie Unsicherheit erkennt und den Nutzer warnt
Es ist unklar, ob es eine Technik gibt, um die Unsicherheit von LLMs zu beurteilen. Neuere Forschung quantifiziert statistisch mit semantischer Entropie, ob ein LLM rät
Es stellt sich die Frage, ob jemand die Ausgaben ausprobiert hat, wenn man dem Modell keine Unsicherheit erlaubt. Dabei springt der Sampler zurück, bis alle Tokens eine Sicherheit oberhalb eines Schwellenwerts haben
Es gibt Zweifel daran, LLMs zu vertrauen, damit sie mit minimaler Aufsicht Aufgaben erledigen. Alles könnte „Halluzination“ oder geraten sein
Das Problem bei LLMs ist nicht einfach nur „Unsicherheit“, sondern hat viele Dimensionen. Es gibt verschiedene Gründe wie fehlende Bedeutung der Frage, fehlende Informationen oder das Fehlen eines Expertenkonsenses
Es gibt zahllose Sampling-Strategien für Sprachmodelle. Es ist schwer, empirisch nachzuweisen, dass eine bestimmte Sampling-Strategie besser ist als standardmäßiges Top-k- oder Top-p-Sampling