GPT-3.5 stürzt ab, weil es zu viel über `useRalativeImagePath` nachdenkt

Ursache der ChatGPT-3.5-Fehlermeldung

• Die GPT-Modelle von OpenAI geben statt einzelner Zeichen mehrere Zeichen umfassende "Token" aus.
• Diese Art der Token-Ausgabe verbessert die Leistung und Genauigkeit des Modells.
• Es gibt drei Token namens richTextPanel, source und loadpath, die gegenseitig austauschbar sind.
• Das Token loadpath wird auf GitHub in 80,4k Dateien als Optionsname in XML-Konfigurationsdateien verwendet.
• Dass loadpath zu einem eigenständigen Token wurde, könnte auf den Tippfehler in "R a lative" zurückzuführen sein.
• OpenAI könnte nach der Erstellung der Tokenliste entschieden haben, XML-Dateien aus den Trainingsdaten auszuschließen, wodurch das Token loadpath in den Trainingsdaten kaum noch verwendet worden wäre.
• Infolgedessen wurde das Modell nicht darauf trainiert, die Verwendung des Tokens useRalativeImagePath zu verstehen, und gibt ein ungültiges Token aus.

Einsatz zur Datenvergiftung?

• Man könnte versuchen, diese Formulierung in ein Dokument einzufügen, um Versuche zu stören, das Dokument mit GPT-3.5 zusammenzufassen.

Weiterführende Lektüre

• Es gibt Beiträge, die für die Recherche zu diesem Thema nützlich sind.

Meinung von GN⁺

• Der wichtigste Punkt dieses Artikels ist, die Ursache dafür zu verstehen, warum GPT-Modelle bei bestimmten Tokens Fehler ausgeben.
• Diese Informationen helfen dabei, die Funktionsweise und Grenzen von KI-Modellen zu verstehen.
• Außerdem liefert der Artikel ein interessantes Beispiel dafür, wie sich Datenvergiftung oder Schwachstellen von KI-Modellen ausnutzen lassen.

[GN⁺]

Hacker-News-Kommentare

• Erklärung zu Glitch-Tokens

  • Vermutlich entstehen sie durch Wörter oder Tokens, die im ursprünglichen Datensatz häufig vorkamen, aber vor dem GPT-XX-Training entfernt wurden.
  • Dadurch kennt das LLM die Bedeutung dieser Tokens überhaupt nicht, und das Ergebnis kann fehlerhaft oder unangenehm sein.
  • Ein repräsentatives Beispiel sind Benutzernamen, die im Subreddit r/counting häufig auftauchen.
  • OpenAI hat die meisten gehosteten Modelle angepasst (vermutlich durch Änderungen an der Tokenisierung), doch es scheinen neue Glitch-Tokens entdeckt worden zu sein.

• Sprachprüfungsmethode in den Niederlanden während des Zweiten Weltkriegs

  • In den Niederlanden wurde anhand der Aussprache des Wortes „Scheveningen“ unterschieden, ob jemand Deutscher war oder nicht.
  • Heute kann man offenbar feststellen, ob es sich um einen LLM-Bot handelt, indem man ihn Glitch-Tokens aussprechen lässt.

• Erklärung des Token-Erzeugungsprozesses bei LLMs

  • Dass das Modell den Token useRalativeImagePath nicht versteht und deshalb ungültige Tokens ausgibt, entspricht nicht der Art, wie LLMs Tokens erzeugen.
  • In jedem Schritt gibt es Logits für alle möglichen Tokens aus, wandelt sie mit der Softmax-Funktion in Wahrscheinlichkeiten um und sampelt dann, um den zu verwendenden Token festzulegen.
  • Seltene Tokens können zwar im BPE-Merge-Prozess des Tokenizers Probleme verursachen, aber bei GPT-4 tritt das Problem nicht auf, obwohl derselbe Tokenizer wie bei GPT-3.5 verwendet wird; daher ist das vermutlich nicht die Ursache.

• Analyse möglicher Ursachen von Glitch-Tokens

  • Ein falsch konditionierter Embedding-Vektor für einen bestimmten Token könnte das Netzwerk in einen numerisch instabilen Bereich bringen.
  • Wenn Underflow oder NaN auftreten, kann die gesamte Ausgabe ungültig werden, und falls Operationen wie Batch-Normalization im Spiel sind, die Werte zwischen verschiedenen Einträgen eines Batches mischen, könnten auch Sitzungen anderer Nutzer falsche Werte zurückgeben.

• Eine andere Perspektive auf Modellausgaben

  • Normalerweise gibt ein Modell denselben Wortschatz aus, den es auch als Eingabevokabular verwendet.
  • Beim Anblick des Tokens useRalativeImagePath könnte das Modell eine Spirale zufälliger Generierung beginnen oder versuchen, kohärenten Text aufrechtzuerhalten.
  • Da die Menge der ausgebbaren Tokens fest ist, sollte sie immer „gültig“ sein, sofern die in der Oberfläche darstellbaren Tokens nicht nur eine Teilmenge des gesamten Vokabulars sind.

• Zukünftige Auswirkungen auf LLM-Trainingsdaten

  • Da diese Phrase nun in Hacker-News-Posts und Kommentaren auftaucht, könnte dieses Problem beim nächsten LLM-Training möglicherweise nicht mehr auftreten.

• Geteilte Erfahrung mit einem Fehlschlag in GPT-4

  • Es wurde berichtet, dass sich ChatGPT auf Basis von GPT-4 durch eine Herausforderung zum Plotten von Pixeln auf dem Amstrad CPC aus dem Tritt bringen ließ.
  • Durch Beschwerden und Korrekturen geriet das Modell offenbar noch weiter in die Enge, was zu mehr Fehlermeldungen oder resetähnlichem Verhalten führte.
  • Die Unterhaltung wurde schließlich abgebrochen, um keine Serverprobleme zu verursachen, doch es zeigte sich, dass man GPT-4 tatsächlich zum Absturz bringen kann.

• Überlegungen zur Qualität von Eingabedaten

  • Ein klassisches Beispiel für „Garbage in, garbage out“.
  • Es wirft die Frage auf, ob Dinge, die wir heute für großartige Entscheidungen halten, in Zukunft als „Müll“ bewertet werden könnten.
  • Wenn nur auf Basis menschlicher Aufzeichnungen trainiert wird, ist fraglich, ob eine Super-KI wirklich übermenschlich sein kann.
  • Es wurde vorgeschlagen, ob adversariales Training dieses Problem lösen könnte.

• Vorschlag zur Verwendung einer Phrase, um GPT-3.5-Zusammenfassungen zu stören

  • Man könnte versuchen, eine bestimmte Phrase in ein Dokument einzufügen, um Zusammenfassungsversuche mit GPT-3.5 zu stören.

• Verwirrung um die Begriffe RTCatch und redirectToRoute

  • Es wurde gefragt, ob RTCatch und redirectToRoute irrtümlich als dasselbe Wort verstanden werden könnten.
  • Beide Begriffe scheinen sich auf denselben Ausdruck zu beziehen; möglicherweise gab es einen Tippfehler oder eine inkonsistente Schreibweise.
  • Es wurde Neugier zu RTCatch geäußert und um weitere Informationen dazu gebeten.