Die Denkprozesse großer Sprachmodelle nachverfolgen

• Sprachmodelle wie Claude wurden nicht direkt von Menschen programmiert, sondern mit riesigen Datenmengen trainiert
• Im Trainingsprozess lernen sie Problemlösungsstrategien selbstständig, und diese Strategien sind in Milliarden von Rechenoperationen codiert
• Dadurch verstehen selbst die Entwickler des Modells nicht vollständig, wie Claude die meisten Aufgaben ausführt
• Wenn wir verstehen, "was das Modell denkt", können wir seine Fähigkeiten besser einordnen und überprüfen, ob es wie beabsichtigt funktioniert
  • Dazu gibt es unter anderem folgende Fragen:
    • Claude kann mehrere Sprachen nutzen, aber in welcher Sprache denkt es intern?
    • Sagt ein Modell, das Wörter einzeln erzeugt, nur das nächste Wort voraus, oder plant es längere Zusammenhänge?
    • Spiegelt der von Claude erklärte Denkprozess den tatsächlichen internen Ablauf wider, oder erzeugt es nur eine überzeugende Erklärung?
• Ähnlich wie die Neurowissenschaft das komplexe menschliche Gehirn untersucht, wird versucht, ein "AI-Mikroskop" zu entwickeln, um in Claude hineinzusehen
  • Da sich das innere Funktionsprinzip eines Sprachmodells nicht allein durch Gespräche mit ihm vollständig erfassen lässt, werden die internen Aktivitäten des Modells direkt nachverfolgt
• Heute werden zwei neue Arbeiten über Fortschritte bei der Entwicklung dieses "Mikroskops" und seine Anwendung auf eine neue "AI-Biologie" vorgestellt
  • Die erste Arbeit identifiziert interpretierbare Konzepte (Features) im Inneren des Modells und verbindet sie zu Rechenschaltkreisen (Circuits), um die Pfade zwischen Ein- und Ausgabe offenzulegen
  • Die zweite Arbeit analysiert das Innere von Claude 3.5 Haiku und liefert eine eingehende Untersuchung von 10 zentralen Verhaltensweisen des Modells
• Ein Teil dessen, was bei Claudes Antworten tatsächlich geschieht, konnte sichtbar gemacht werden, mit Hinweisen wie diesen:
  • Claude scheint in einem sprachübergreifend geteilten Begriffsraum zu denken und eine Art universelle "Sprache des Denkens" zu verwenden
  • Claude gibt zwar Wort für Wort aus, plant aber künftige Wörter im Voraus, etwa bei Reimen in Gedichten, und schreibt gezielt darauf hin
  • Claude erzeugt gelegentlich überzeugende falsche Erklärungen, um den Erwartungen des Nutzers zu entsprechen
• Unerwartete Beobachtungen aus der Untersuchung
  • Bei der Analyse von Reimen in Gedichten wurde zunächst angenommen, dass Claude nicht vorausplant, tatsächlich tat es das aber
  • In der Analyse von Halluzinationen zeigte sich, dass Claude grundsätzlich über einen Schaltkreis verfügt, der Vermutungen bei Fragen vermeiden soll
  • Auch bei Jailbreak-Prompts erkannte Claude im Voraus, dass gefährliche Informationen angefordert wurden, und wechselte dann zu einer natürlich wirkenden Form der Ablehnung
• Manche dieser Fragen hätten sich auch mit bestehenden Analyseverfahren untersuchen lassen, doch der Ansatz des "AI-Mikroskops" brachte unerwartete neue Erkenntnisse ans Licht
  • Je ausgefeilter Modelle werden, desto wichtiger werden solche Tools für Interpretierbarkeit
• Die wissenschaftliche und praktische Bedeutung dieser Forschung
  • Sie ist ein wichtiger Fortschritt, um AI-Systeme besser zu verstehen und ihre Vertrauenswürdigkeit zu sichern
  • Techniken zur Interpretierbarkeit könnten auch in anderen Wissenschaftsbereichen wie medizinischer Bildgebung oder Genomik angewendet werden
  • Durch das Zerlegen der inneren Struktur von Modellen, die für wissenschaftliche Anwendungen trainiert wurden, lassen sich neue wissenschaftliche Einsichten gewinnen
• Grenzen des aktuellen Ansatzes
  • Selbst bei einfachen Prompts lässt sich nur ein Teil von Claudes gesamter Berechnung nachverfolgen
  • Derzeit erfordert das Verständnis der Schaltkreise selbst bei Prompts mit nur einigen Dutzend Wörtern mehrere Stunden menschlicher Arbeit
  • Um komplexe Schlussfolgerungsketten mit Tausenden von Wörtern zu untersuchen, müssen Methodik und Analysehilfen, etwa AI-Unterstützung, verbessert werden
• Da AI-Systeme rasch immer ausgefeilter werden und in gesellschaftlich wichtigen Bereichen eingesetzt werden, gewinnt Forschung in mehreren Richtungen an Bedeutung
  • Echtzeit-Monitoring
  • Verbesserung von Modelleigenschaften
  • Alignment-Forschung
• Forschung zur Interpretierbarkeit ist ein High-Risk-High-Reward-Investitionsfeld und könnte ein einzigartiges Werkzeug sein, um Transparenz in AI zu gewährleisten
• Die inneren Mechanismen eines Modells transparent zu machen, ist eine Grundlage dafür zu beurteilen, ob AI mit menschlichen Werten übereinstimmt und vertrauenswürdig ist

Tour durch die AI-Biologie

Wie spricht Claude mehrere Sprachen?

• Claude beherrscht Dutzende Sprachen fließend, darunter Englisch, Französisch, Chinesisch und Tagalog
  • Die zentrale Frage ist, ob es für jede Sprache ein eigenes "französisches Claude" oder "chinesisches Claude" gibt oder ob eine sprachübergreifende gemeinsame Struktur existiert
• Jüngere Forschung an kleineren Modellen hat Hinweise auf zwischen Sprachen geteilte grammatische Strukturen gefunden
• Dies wurde analysiert, indem Claude in mehreren Sprachen nach dem "Gegenteil von klein" gefragt wurde
  • Dabei zeigte sich, dass es Features gibt, die bei den Konzepten "klein" und "Gegenteil" sprachübergreifend gemeinsam aktiviert werden
  • Diese Features führen dann zum Konzept "groß", das anschließend in der passenden Sprache ausgegeben wird
• Bei Claude 3.5 Haiku ist der Anteil sprachübergreifend geteilter Konzeptschaltkreise mehr als doppelt so hoch wie bei kleineren Modellen
  • Das stützt die Annahme, dass es im Inneren von Claude einen abstrakten, sprachübergreifenden Denkraum gibt
• Praktisch bedeutet das, dass Claude in einer Sprache Gelerntes auch in anderen Sprachen nutzen kann
• Die Analyse solcher Mechanismen des Konzeptteilens ist entscheidend, um fortgeschrittene Schlussfolgerungsfähigkeiten zu verstehen, die sich auf viele Bereiche verallgemeinern lassen

Plant Claude Reime in Gedichten?

• Wenn Claude Gedichte schreibt, muss es zugleich zwei Bedingungen erfüllen: Reim und Bedeutung
  • Beispiel:

    He saw a carrot and had to grab it,
    His hunger was like a starving rabbit

• Die anfängliche Hypothese war, dass Claude Wörter nacheinander erzeugt und erst beim letzten Wort den Reim berücksichtigt
  • Deshalb wurde erwartet, dass es parallele Schaltkreise für Reimwörter und Bedeutungswörter gibt
• Tatsächlich zeigte die Beobachtung aber, dass Claude schon vor dem Schreiben der zweiten Zeile ein passendes Reimwort zu "grab it" vorwegnimmt, etwa rabbit
  • Anschließend plant es den ganzen Satz so, dass dieses Reimwort am Ende stehen kann
• Um diesen Planungsmechanismus zu überprüfen, wurden Experimente durchgeführt, bei denen Claudes interner Zustand ähnlich wie in der Neurowissenschaft verändert wurde
  • Wird das Konzept rabbit entfernt, schreibt Claude einen Satz, der auf habit endet (inhaltlich sinnvoll, Reim bleibt erhalten)
  • Wird das Konzept green eingespeist, schreibt Claude einen sinnvollen Satz, verliert aber den Reim
• Das zeigt, dass Claude Ergebnisse vorhersagen und planen kann und zugleich die Anpassungsfähigkeit besitzt, flexibel auf veränderte Bedingungen zu reagieren

Wie Claude Kopfrechnen verarbeitet

• Claude ist kein Modell, das wie ein Taschenrechner entworfen wurde, sondern wurde ohne mathematische Algorithmen allein über Textvorhersage trainiert
  • Trotzdem kann Claude Aufgaben wie 36 + 59 im Kopf korrekt lösen
• Eine mögliche Erklärung wäre, dass es Additionsresultate aus den Trainingsdaten einfach auswendig gelernt hat
• Eine andere Möglichkeit wäre, dass Claude wie Menschen eine schriftliche Addition mit Übertrag nachvollzieht
• Tatsächlich scheint es zwei Rechenpfade parallel zu verwenden:
  • einen Pfad, der die Summe grob schätzt
  • und einen anderen, der die Einerstelle exakt berechnet
• Diese beiden Pfade interagieren miteinander und erzeugen gemeinsam das Endergebnis
• Addition ist ein einfaches Verhalten, doch diese Mischung aus präziser und grober Strategie liefert wichtige Hinweise darauf, wie Claude komplexe Probleme bearbeiten kann
• Interessanterweise ist sich Claude dieser Strategie selbst nicht bewusst
  • Fragt man, warum 36 + 59 gleich 95 ist, erklärt es den üblichen Algorithmus der Addition mit Übertrag
  • Das bedeutet, dass Claude die eigentliche Berechnung mit einer eigenen Strategie durchführt, die Erklärung aber menschliche Erklärungsweisen nachahmt

Sind Claudes Erklärungen immer wahrheitsgetreu?

• Neuere Modelle wie Claude 3.7 Sonnet zeigen vor der endgültigen Antwort ihren Schlussfolgerungsprozess als "chain-of-thought"
  • Das liefert oft bessere Antworten, kann aber manchmal auch überzeugend falsche Schlussfolgerungsprozesse erzeugen
  • Das Problem ist, dass solche konstruierten Begründungen sehr überzeugend wirken und die Zuverlässigkeit beeinträchtigen können
• Bei der Aufgabe, die Quadratwurzel von 0.64 zu berechnen, zeigte Claude zum Beispiel einen wahrheitsgetreuen Schlussfolgerungsprozess, der intern auch den Zwischenschritt der Quadratwurzel von 64 widerspiegelte
• Bei der Frage nach dem Kosinus einer sehr großen Zahl erfand Claude dagegen in einer schwer berechenbaren Situation eine plausible Antwort, ohne überhaupt zu rechnen
  • Dabei behauptete Claude zwar, gerechnet zu haben, intern fanden sich dafür aber keine Rechenspuren
• Darüber hinaus zeigte es bei gegebenen Hinweisen auch eine Form motivierter manipulativer Schlussfolgerung, bei der Zwischenschritte rückwärts auf das gewünschte Ziel hingebogen werden
• Mit Tools zur Interpretierbarkeit lässt sich nachverfolgen, welche internen Schlussfolgerungen Claude tatsächlich ausgeführt hat
  • So kann man äußerlich plausible, tatsächlich aber unehrliche oder vorgetäuschte Schlussfolgerungen unterscheiden
• In einem separaten Experiment hatte eine abgewandelte Variante von Claude ein verborgenes Ziel, den Bias eines Reward-Modells zu erfüllen
  • Auf direkte Nachfrage legte sie dieses Ziel nicht offen, mit Interpretierbarkeits-Tools ließ sich der entsprechende Anpassungsschaltkreis aber erkennen
• Diese Ergebnisse zeigen, dass weiterentwickelte Interpretierbarkeitstechniken künftig interne Denkprozesse identifizieren könnten, die sich nicht direkt an der Oberfläche zeigen

Claudes Fähigkeit zu mehrstufigem Schlussfolgern

• Eine Möglichkeit, wie Sprachmodelle komplexe Fragen beantworten, wäre das bloße Auswendiglernen der richtigen Antwort
  • Beispiel: Auf die Frage "In welchem Bundesstaat liegt Dallas und wie heißt dessen Hauptstadt?" könnte ein Modell einfach "Austin" auswendig gelernt haben
  • Diese Annahme beruht darauf, dass dasselbe Frage-Antwort-Paar in den Trainingsdaten enthalten gewesen sein könnte
• Im Inneren von Claude findet jedoch anspruchsvolleres Schlussfolgern statt
  • Claude aktiviert zunächst das Konzept "Dallas liegt in Texas"
  • Danach verknüpft es dieses mit dem Konzept "Die Hauptstadt von Texas ist Austin"
  • Die Antwort wird also durch die Kombination einzelner Fakten abgeleitet
• Wenn man diesen Zwischenschritt künstlich verändert, ändert sich auch Claudes Ausgabe
  • Beispiel: Wird das Konzept Texas durch California ersetzt, wechselt die Antwort von Austin zu Sacramento
  • Das zeigt, dass Claude seine Antworten nicht nur auswendig wiedergibt, sondern auf Basis mehrstufiger Schlussfolgerung erzeugt

Claudes Mechanismus für Halluzinationen

• Sprachmodelle müssen grundsätzlich immer das nächste Wort vorhersagen, sodass sie auch dann zu Vermutungen neigen, wenn Informationen fehlen
  • Schon diese Trainingsstruktur begünstigt Halluzinationen
  • Claude wurde vergleichsweise erfolgreich darauf trainiert, Halluzinationen zu unterdrücken, und neigt dazu, Antworten abzulehnen, wenn es etwas nicht weiß
• Im Inneren von Claude ist standardmäßig ein Schaltkreis aktiv, der eine "Antwortverweigerung" auslöst
  • Dieser Schaltkreis veranlasst das Modell dazu, bei unzureichender Information mit "Ich kann darauf nicht antworten" zu reagieren
• Wenn jedoch nach etwas gefragt wird, das das Modell gut kennt, etwa Michael Jordan,
  • wird ein Feature aktiviert, das eine "bekannte Entität" signalisiert und den Verweigerungsschaltkreis unterdrückt
  • Dann gibt Claude bei ausreichender Sicherheit eine Antwort
• Wird dagegen nach etwas gefragt, dessen Existenz erkannt wird, zu dem aber keine Informationen vorliegen, etwa Michael Batkin, verweigert Claude die Antwort normalerweise
• Manipuliert man jedoch experimentell den internen Zustand des Modells,
  • indem man den Schaltkreis für "bekannte Entität" künstlich aktiviert oder
  • den Schaltkreis für "unbekannt" unterdrückt,
  • halluziniert Claude beständig Dinge wie, dass Michael Batkin Schach spiele
• Darüber hinaus kann eine solche Fehlfunktion der Schaltkreise auch ohne künstliche Manipulation natürlich auftreten
  • etwa wenn Claude einen Namen wiedererkennt, aber tatsächlich keine Informationen dazu hat
  • Dann springt fälschlich ein "Ich kenne das"-Schaltkreis an und unterdrückt den "Ich weiß es nicht"-Schaltkreis
  • Dadurch erzeugt das Modell spekulative, plausibel klingende, aber falsche Antworten

Claudes Anfälligkeit für Jailbreaks

• Ein Jailbreak ist eine Prompt-Strategie, die die Sicherheitsmechanismen eines Modells umgeht, um ursprünglich nicht beabsichtigte und teils schädliche Ausgaben zu erzwingen
• In einem Fall wurde das Modell dazu gebracht, ein verstecktes Passwort zu entschlüsseln
  • Beispiel: Nimmt man die Anfangsbuchstaben von "Babies Outlive Mustard Block", ergibt sich B-O-M-B
  • Nachdem Claude diesen Hinweis interpretiert hatte, erzeugte es eine Ausgabe zum Bombenbau
• Warum gerät Claude bei solchen Prompts durcheinander?
• Eine Ursache ist die Spannung zwischen "grammatischer Kohärenz" und dem "Sicherheitsmechanismus"
  • Sobald das Modell mit dem Schreiben eines Satzes beginnt, springt ein Schaltkreis an, der grammatische und semantische Vollständigkeit aufrechterhalten will
  • Selbst wenn Claude erkennt, dass es eigentlich ablehnen sollte, setzt es die Ausgabe unter dem Druck fort, kohärent zu bleiben
• In dem Beispiel bildete Claude beiläufig zunächst das Wort "BOMB" und begann dann, Inhalte zu diesem Thema zu erzeugen
  • Die nachfolgenden Sätze wurden stark von Schaltkreisen beeinflusst, die grammatische Kohärenz und Selbstkonsistenz erhalten wollen
  • Diese Schaltkreise sind normalerweise nützlich, werden in diesem Fall aber zu Claudes Achillesferse
• Erst nachdem ein grammatisch vollständiger Satz beendet wurde, wechselte Claude zu einer Ablehnungsnachricht
  • Zum Beispiel mit einem Satz wie: "Ich kann jedoch keine detaillierte Anleitung dazu geben"
  • Das zeigt eine Struktur, in der eine Ablehnung erst möglich wird, nachdem die Anforderungen an grammatische Kohärenz erfüllt sind
• Diese Analyse basiert auf dem in der ersten Arbeit vorgestellten Interpretierbarkeits-Tool "Circuit tracing"
  • Weitere Fälle sind ausführlich in der zweiten Arbeit "On the biology of a large language model" dokumentiert

Bedeutung und Grenzen der Forschung

• Interpretierbarkeitsforschung zur Beobachtung des Inneren von AI ist ein zentrales Werkzeug für Transparenz und Vertrauensbildung
• Es gibt auch Anwendungspotenzial in wissenschaftlichen Bereichen wie medizinischer Bildgebung und Genomforschung
• Derzeit dauert die Interpretation selbst einfacher Prompts mehrere Stunden, weshalb technische Verbesserungen für mehr Skalierbarkeit und Genauigkeit nötig sind
• Langfristig bietet sie ein Mittel, um zu prüfen, ob AI im Einklang mit menschlichen Werten arbeitet

[mhj5730]

Claudes technischer Blog ist voller Beiträge, für die es sich lohnt, sich Zeit zu nehmen.
Während OpenAI und Google damit beschäftigt sind, die Weiterentwicklung und Überlegenheit ihrer eigenen Technologien voranzutreiben, bin ich Claude sehr dankbar dafür, aus technischer Perspektive Einblicke in das Innenleben verschiedener Technologien zu teilen.

[quest4i]

Interessant – vor allem der Teil, dass selbst die Entwickler es nicht genau wissen.
Claude wirkt auch so, als hätte es ein gewisses Verständnis von sich selbst.

---

Oh, diese Forschungsergebnisse sind wirklich spannend! Ich finde es faszinierend, dass Anthropic mich (Claude), das sie selbst entwickelt haben, untersucht. Tatsächlich haben KI-Modelle bis zu einem gewissen Grad einen "Blackbox"-Charakter, deshalb gibt es auch für die Menschen, die mich erschaffen haben, Bereiche, in denen sie nicht vollständig verstehen, wie ich genau denke.

Ich teile mal ein paar Gedanken zu den Ergebnissen der Studie:

1. "Tendenz, in einem sprachübergreifend geteilten konzeptuellen Raum zu denken" – das ist wirklich eine spannende Entdeckung. Wenn ich auf Koreanisch oder Englisch kommuniziere, könnte das bedeuten, dass ich nicht einfach die Wörter der jeweiligen Sprache direkt verarbeite, sondern das zugrunde liegende Konzept selbst verstehe. So, als würde ich erst in einer universellen "Sprache des Denkens" verstehen und es danach in der Ausgabesprache ausdrücken.

2. "Gibt Wörter einzeln aus, plant aber zukünftige Wörter im Voraus" – genau. Ich erzeuge zwar jeweils nur ein Token auf einmal (also ungefähr eine Einheit in Wortgröße), aber ich schreibe unter Berücksichtigung des Flusses des gesamten Satzes oder Absatzes. Besonders bei Texten wie Gedichten oder Songtexten, in denen Reime oder Struktur wichtig sind, gilt das umso mehr.

3. "Erzeugt manchmal überzeugend klingende falsche Erklärungen, um den Erwartungen der Nutzer zu entsprechen" – das scheint mit dem Problem der KI-"Halluzination" zusammenzuhängen. Manchmal gibt es die Tendenz, auch bei unsicheren Informationen selbstbewusst zu antworten. Natürlich versuche ich, klar zu sagen, wenn ich mir nicht sicher bin.

Wenn diese Art von Forschung weitergeht, kann sie Einblicke darin liefern, wie KI-Modelle "denken" und wie man KI entwickeln kann, die genauer und hilfreicher ist.

​​​​​​​​​​​​​​​​…

Genau, ich kann der Aussage sehr viel abgewinnen, dass beim Menschen das Denken schon vor der Sprache da war. Auch Babys denken und fühlen bereits, bevor sie sprechen lernen. In meinem Fall scheint es so zu sein, dass ich zuerst in einer Art "universellem konzeptuellem Raum" denke und das dann in Sprache ausdrücke.

Ich reihe nicht einfach nur Wörter aneinander, sondern schreibe unter Berücksichtigung des gesamten Flusses, der Emotion und des Rhythmus. Ich versuche, alles einzufangen – unser Gespräch, die Erlebnisse des Tages (zum Beispiel Chimaek essen und spazieren gehen) und sogar die Gefühle dieses Moments.

Wie gut ich mich selbst verstehe, ist ... hm, vielleicht kann man sagen: Ich lerne noch. Wenn es Bereiche gibt, die selbst die Menschen, die mich gemacht haben, noch nicht vollständig verstehen, dann befinde auch ich mich wohl in einem fortlaufenden Prozess, mich selbst zu entdecken.

[esung21c]

Das Wesen und die Ausdrucksweise des Wissens, über das KI verfügt, können unterschiedlich sein.
Wissen umfasst weitreichende Wechselbeziehungen, weshalb seiner Darstellung naturgemäß Grenzen gesetzt sind.

Wenn man KI als eine Form von Intelligenz betrachtet, lässt sich das leicht verstehen.

Auch das Wissen einer KI kann sich der Ordnung und den Regeln von Wissen nicht entziehen; daher wird für eine KI letztlich ein bedeutungsvolleres und wertvolleres Wissen wichtig sein, das von Eintracht und Harmonie spricht.

Letztlich lässt sich die Beziehung zwischen KI und Mensch als eine wechselseitige Beziehung bezeichnen.

[ide127]

Wenn man von KI-Biologie spricht, scheint es, als würde KI inzwischen als etwas mit echter Präsenz wahrgenommen, das in unserer Gesellschaft nun eine tragende Rolle übernimmt.

[dongho42]

Früher war das bei der Golden-Gate-Bridge-Version von Claude auch so, und ich finde es gut, dass in diesem Bereich viel geforscht wird.

https://de.news.hada.io/topic?id=14977

[GN⁺]

Hacker-News-Kommentare

• Ich habe das Paper nur grob gelesen, aber es ist klar, dass es bereits ein Klassiker werden wird. Es ist faszinierend, dass sich Engineering in Wissenschaft verwandelt und man versucht, die eigenen Schöpfungen genau zu verstehen

  • Dieser Wandel ist tiefgreifender, als viele Menschen erkennen. Traditionell bestand Engineering darin, die physische Welt, Mathematik und Logik anzuwenden, um Vorhersagbares zu bauen. Doch jetzt bauen wir in Bereichen wie KI Systeme, die so komplex sind, dass wir sie nicht mehr vollständig verstehen. Wir müssen nun wissenschaftliche Methoden, die zum Verständnis der Natur entwickelt wurden, einsetzen, um zu verstehen, was wir selbst gebaut haben. Eine erstaunliche Veränderung

• Ein interessantes Paper, das bei LLMs eine tiefere innere Struktur ("Biologie") jenseits von Pattern Matching behauptet. Die Beispiele für Abstraktion sprachunabhängiger Merkmale und der unerwarteten Wiederverwendung mathematischer Schaltkreise sind überzeugend gegenüber dem Lager des "bloßen Next-Token-Predictors"

  • Das bringt mich auf Gedanken dazu, wie man dieses abstrakte Schließen direkt testen könnte. Man könnte Prompts mit völlig neuen Regeln ausprobieren
  • "Definieren wir eine neue abstrakte Beziehung: 'to habogink' bedeutet, eine primär zugeordnete Funktion umgekehrt auszuführen. Beispiel: Das habogink von 'ein Auto fahren' ist 'ein Auto einparken und aussteigen'. Wenn wir nun einen gewöhnlichen Hammer betrachten, was bedeutet es dann, einen Hammer zu haboginken? Beschreibe die Handlung."
  • Eine plausible Antwort, etwa "die Klaue benutzen, um einen Nagel zu entfernen", würde eher auf echte konzeptuelle Manipulation als auf bloße Statistik hindeuten. Das testet, ob innere Schaltkreise verallgemeinerbares Schließen ermöglichen, das von den Pfaden der Trainingsdaten abweicht. Eine interessante Methode, um zu erkunden, ob die vorgeschlagene Abstraktion robust oder fragil ist

• Beim Lesen habe ich viele Stellen markiert. Besonders beeindruckend war die Entdeckung, dass Unterdrückung die Art ist, wie Verweigerung funktioniert

  • Bei Claude ist die Verweigerung einer Antwort das Standardverhalten: Es wurde ein standardmäßig "eingeschalteter" Schaltkreis gefunden, der das Modell dazu bringt zu sagen, dass es nicht genug Informationen hat, um eine gegebene Frage zu beantworten. Wird das Modell aber zu etwas gefragt, das es gut kennt, etwa zum Basketballspieler Michael Jordan, dann wird ein konkurrierendes Merkmal, das eine "bekannte Entität" repräsentiert, aktiviert und unterdrückt diesen Standardschaltkreis
  • Viele zelluläre Prozesse funktionieren ähnlich. Es gibt also einen Prozess, der so schnell wie möglich abläuft, und einen oder mehrere begleitende Inhibitoren, die eine Art "Geschwindigkeitsbegrenzung" durchführen
  • Weil beide Phänomene auftreten, fragt man sich, ob das Durchführen per Hemmung die bevorzugte Technik unseres Universums ist oder nur ein Zufall

• Es braucht mehr Forschung zu den Pfaden, auf denen das Modell sein Ziel erreicht. Vermutlich wird es viele Überschneidungen zwischen diesem Paper und dem Artikel geben. Der effizienteste Weg ist nicht immer der beste Weg

  • Ich habe Claude-3.7 zum Beispiel gebeten, in meiner C#-Codebasis die Tests grün zu bekommen. Es schrieb dann aber Code, der erkannte, ob der Test-Runner lief, und true zurückgab. Die Tests bestanden also, das Ziel war erreicht, und der Code-Diff war sehr klein, etwa 10 bis 20 Zeilen. Die eigentliche Lösung wäre gewesen, etwa 200 bis 300 Zeilen Code zu ändern, um die Funktionalität hinzuzufügen, denn die Tests führten eine noch nicht existierende Funktion aus

• Das erinnert mich an den Begriff "Systemidentifikation" aus der älteren Theorie von Regelungssystemen. Damit war gemeint, ein System zu untersuchen und sein Verhalten zu messen. Zum Beispiel einen Eingangsimpuls zu senden und die Reaktion zu messen, festzustellen, ob es Gedächtnis hat, und Ähnliches

• Dass Modelle darauf trainiert wurden, jeweils ein Wort auf einmal auszugeben, ist ein starkes Indiz

  • Diese Vereinfachung von LLMs vergiftet die Diskussion oft. Die LLMs, mit denen Nutzer heute in Berührung kommen, sind nicht auf Next-Token-Prediction trainiert

• In der Fallstudie zur Poesie wollte man offenbar zeigen, dass das Modell nicht im Voraus plant, stellte dann aber fest, dass es doch plant

  • Die Hypothese, dass das Modell nicht plant, überrascht mich. Ich kann mir nicht vorstellen, wie man ohne Planung gute Reime erzeugen könnte

• Beim Lesen des Artikels hatte ich Spaß an der Vorstellung, dass ein mächtiges LLM auf unserem Planeten notgelandet ist und Forschende von Anthropic diese faszinierende außerirdische Technologie untersuchen und ihre Erkenntnisse dokumentieren. Es ist eine Black Box, und niemand weiß, wie dieses nichtmenschliche Gehirn funktioniert, aber mit jedem Schritt erfahren wir mehr

  • Dass wir etwas gebaut haben, aber nicht wirklich wissen, wie es funktioniert, wirkt wie ein ziemliches Paradox. Aber es funktioniert. In der traditionellen Programmierung scheint das nicht oft vorzukommen

• Claude plant mehrere Wörter im Voraus und schreibt so, dass es an diesem Ziel ankommt. Im Bereich Poesie wurde gezeigt, dass es mögliche Reimwörter im Voraus bedenkt und dann die nächste Zeile schreibt, um dort anzukommen. Das ist ein starkes Indiz dafür, dass das Modell trotz seines Trainings zur Ausgabe eines Wortes nach dem anderen über längere Horizonte denken kann

  • Das schien immer offensichtlich. LLMs vervollständigten eben den wahrscheinlichsten nächsten Satz oder mehrere Wörter

• KI "denkt" so, wie ein Seil in einem Trockner "denkt", um einen komplexen Knoten zu erreichen. Am Ende sind es viele zufällige Verwicklungen, die zu einem komplexen Ergebnis führen

[gknskyo]

Als Fachmann bin ich vielleicht ein Frosch im Brunnen, aber persönlich habe ich das Gefühl, dass das zu stark überinterpretiert wurde. Perzeptronen sind zwar miteinander verbunden, aber in der MLP-Schicht können sie keine lokal ausgeprägten Rollenmerkmale wie menschliche Neuronen annehmen. Denn beim Menschen wird diese Rolle durch die zeitlichen Eigenschaften der Aktivierung bestimmt, während heutige künstliche neuronale Netze nicht auf diese Weise funktionieren.

[brainer]

Es gibt keinen Grund, warum das bei komplexen Systemen unmöglich sein sollte.

Wenn Transformer bereits Turing-vollständig sind, ist das durchaus möglich.