Ein verblüffend einfacher Ansatz zur Wiederherstellung vergessenen Wissens für LLMs

• Ob LLMs wirklich „vergessen“

  • Große Sprachmodelle (LLMs) werden mit riesigen Textdatensätzen trainiert und zeigen hervorragende Fähigkeiten zur Textgenerierung
  • Aufgrund der sensiblen Eigenschaften der Trainingsdaten können sie jedoch unerwünschte Verhaltensweisen erlernen
  • Maschinelles „Vergessen“ ist ein Ansatz zur Lösung dieses Problems und zielt darauf ab, bestimmtes Wissen zu entfernen, während die Nützlichkeit des Modells so weit wie möglich erhalten bleibt

• Problemstellung und Forschungsinhalt

  • Es gibt bislang wenig Forschung dazu, ob aktuelle „Vergessens“-Methoden Wissen tatsächlich vergessen lassen oder es nur verbergen
  • Diese Studie zeigt, dass sich „vergessene“ Informationen durch Quantisierung wiederherstellen lassen
  • Mit verschiedenen Quantisierungstechniken wurden Experimente auf mehreren Präzisionsniveaus durchgeführt

• Experimentelle Ergebnisse

  • Bei „Vergessens“-Methoden mit Nützlichkeitsbeschränkungen behielt das Modell in voller Präzision im Durchschnitt 21 % des beabsichtigt vergessenen Wissens
  • Nach einer 4-Bit-Quantisierung stieg dieser Anteil auf 83 %

• Vorgeschlagene Strategie

  • Es wird eine theoretische Erklärung für dieses Phänomen geliefert
  • Vorgeschlagen wird eine gegen Quantisierung robuste „Vergessens“-Strategie, um das komplexe Problem abzumildern

• Bedeutung der Forschung

  • Die Arbeit leistet einen wichtigen Beitrag zur Bewertung und Verbesserung der Wirksamkeit von „Vergessens“-Methoden für LLMs
  • Sie hilft dabei, die Auswirkungen von Quantisierung auf das „Vergessen“ zu verstehen

[GN⁺]

Hacker-News-Kommentar

• Es gibt Forschungsergebnisse, die zeigen, dass Modell-Quantisierung Methoden zum „Vergessen“ unwirksam macht. Bei „Vergessen“-Methoden werden die Gewichte aktualisiert, damit das Modell bestimmte Fakten vergisst. Solche Methoden werden vor allem eingesetzt, um Urheberrechtsprobleme zu lösen.
  • Dass Quantisierung das „Vergessen“ unwirksam macht, bedeutet informationstheoretisch, dass das Wissen weiterhin in den Modellgewichten vorhanden ist.
  • Es wird ein Vergleich zwischen dem AI-Hype und dem 3D-Drucker-Hype vor 10–15 Jahren gezogen, mit der Erwartung, dass AI ein ähnliches Schicksal ereilen wird.
  • Zwar wurde Wissen aus einem 32-Bit-Modell entfernt, aber wenn es auf 4 Bit komprimiert wird, erscheint das Wissen wieder, was informationstheoretisch unerwartet ist.
  • Für das „Vergessen“ ist es üblich, eine kleine Lernrate und Regularisierung zu verwenden, ohne die Nützlichkeit des Modells zu beeinträchtigen. Dadurch liegen die Gewichte des Ziel-LLM und des „vergessenen“ LLM sehr nahe beieinander.
  • Man sollte entweder unerwünschtes Lernen bereits während des Basistrainings verhindern, oder das „Vergessen“ des Basismodells muss empfindlich gegenüber Quantisierung sein.
  • Selbst bei der Verwendung quantisierter LLMs wurde nicht festgestellt, dass das Modell weniger zensiert ist.
  • Zur Verstärkung von „vergessenem“ Verhalten ist die Technik der Abliteration wirksamer.
  • „Vergessen“ bedeutet in Wirklichkeit, die Sampling-Wahrscheinlichkeit in einem potenziellen „Lernraum“ zu verringern, und Quantisierung reduziert die Wirkung dieses Samplings.
  • „Vergessen“ bedeutet, dass das LLM lernt, unerwünschtes Wissen zu unterdrücken, und Quantisierung durchbricht diese Unterdrückung.
  • Es war das erste Mal, dass ich von Modell-„Vergessen“ gehört habe, und ich erwarte eine Antwort darauf, wie föderiertes Lernen Modell-„Vergessen“ verhindern kann.