OpenAIs neue Forschungsergebnisse: Zerlegung interner Repräsentationen von GPT-4 in interpretierbare Muster

 (openai.com)
7 Punkte von brainer 2024-06-07 | 2 Kommentare | Auf WhatsApp teilen

• OpenAI führt eine neue skalierbare Methode ein, um die internen Repräsentationen von GPT-4 in 16 Millionen interpretierbare Muster zu zerlegen und so die neuronale Aktivität in Sprachmodellen besser zu verstehen.

• Neuronale Netzwerke wurden nicht direkt entworfen und verfügen nicht über klar identifizierbare Bestandteile, was ihre Interpretation erschwert und Rückschlüsse auf die Sicherheit von KI schwierig macht.

• Mithilfe spärlicher Autoencoder werden relevante „Features“ in neuronalen Netzwerken identifiziert, die für Menschen leicht verständliche Konzepte repräsentieren.

• Das Forschungsteam entwickelte fortschrittliche Methoden, um spärliche Autoencoder in modernsten KI-Modellen auf viele Millionen Features zu skalieren, und demonstrierte dabei eine reibungslose und vorhersagbare Skalierung.

• Durch Visualisierungen, die die Dokumentaktivierung für bestimmte Features zeigen, wird die Interpretierbarkeit dieser Features veranschaulicht.

• Beispiele für interpretierbare Features sind Formulierungen im Zusammenhang mit menschlichen Unzulänglichkeiten, Tendenzen zu Preissteigerungen, Konstruktionen der Form „X und Y“, Machine-Learning-Trainingslogs, rhetorische/emphatische Fragen, algebraische Ringe sowie Adenosin- und Dopaminrezeptoren.

• Das Forschungsteam ist zwar begeistert vom Potenzial der Interpretierbarkeit zur Verbesserung der Zuverlässigkeit und Steuerbarkeit von Modellen, erkennt aber auch Grenzen an: Viele entdeckte Features sind schwer zu interpretieren, und es werden bessere Validierungsmethoden benötigt.

Verwandte Beiträge