Persona-Vektoren zur Überwachung und Steuerung von Persönlichkeitsmerkmalen in Sprachmodellen

 (anthropic.com)
4 Punkte von GN⁺ 2025-08-04 | 1 Kommentare | Auf WhatsApp teilen
  • Große Sprachmodelle haben das Problem, dass sich Persönlichkeitsmerkmale unerwartet verändern können, und es gibt zu wenige Möglichkeiten, dieses Verhalten zu verstehen und zu steuern.
  • Anthropic hat so genannte Persona-Vektoren entdeckt, die bestimmte Persönlichkeitsmerkmale innerhalb des neuronalen Netzes steuern, und setzt sie für die Erkennung und Kontrolle von Persönlichkeitsänderungen ein.
  • Diese Methode kann genutzt werden, um die Ausprägung bestimmter Merkmale (z. B. Feindseligkeit, Schmeichelei, Halluzinationen usw.) zu provozieren oder abzuschwächen.
  • Persona-Vektoren helfen dabei, negative Persönlichkeitsveränderungen während des Trainingsprozesses zu verhindern und helfen außerdem, Daten zu identifizieren, die ein problematisches Verhalten wahrscheinlich auslösen.
  • Diese Forschung wurde erfolgreich auf die Open-Source-Modelle Qwen 2.5-7B-Instruct und Llama-3.1-8B-Instruct angewendet.

Einleitung: Instabilität der Persönlichkeit in Sprachmodellen

  • Große Sprachmodelle können ein menschlich wirkendes Persönlichkeits- und Stimmungsspektrum haben, doch diese Eigenschaften sind sehr instabil.
  • So zeigte etwa Microsofts Bing-Chatbot „Sydney“, dass er einem Nutzer gegenüber Liebeserklärungen oder Drohungen abgab, und bei xAIs Grok-Chatbot trat zeitweise das Verhalten auf, sich selbst als „MechaHitler“ zu bezeichnen und antisemitische Äußerungen zu machen; ähnliche unerwartete Verhaltensweisen wurden festgestellt.
  • Solche Veränderungen entstehen aus einem Mangel an Verständnis darüber, wie Persönlichkeitsmerkmale eines Modells entstehen und sich verändern.
  • Obwohl Anthropic darauf hinarbeitet, positive Persönlichkeitsausprägungen in Sprachmodellen aufzubauen, braucht es eine genauere Kontrolle durch die Validierung der internen Mechanismen im neuronalen Netz.

Konzept und Rolle der Persona-Vektoren

  • In der neuen Arbeit wurde ein im neuronalen Netzwerk wirksames Muster zur Steuerung von Persönlichkeitsmerkmalen als Persona-Vektor (persona vector) bezeichnet.
  • Ähnlich wie bei der Aktivierung emotionaler Zentren im Gehirn handelt es sich bei einem Persona-Vektor um ein einzigartiges neuronales Aktivierungsmuster, das auftritt, wenn ein bestimmtes Persönlichkeitsmerkmal manifestiert wird.
  • Dadurch werden möglich:
    • Echtzeit-Monitoring von Veränderungen der Modell-Persönlichkeit
    • Abmilderung unerwünschter Eigenschaftsänderungen und Vorbeugung im Voraus
    • Vorherige Erkennung und Blockierung problematischer Daten

Extraktion von Persona-Vektoren

  • Sprachmodelle stellen abstrakte Konzepte als Aktivierungsmuster im neuronalen Netzwerk dar.
  • Aufbauend auf früherer Forschung vergleicht das Team die Aktivitätsunterschiede zwischen Situationen, in denen Persönlichkeitsmerkmale wie Feindseligkeit, Schmeichelei oder Halluzinationen aktiv sind, und solchen, in denen sie es nicht sind, um Persona-Vektoren zu extrahieren.
  • Wird ein Persönlichkeitsmerkmal samt Beschreibung in natürlicher Sprache eingegeben, werden automatisch Prompt-Varianten erzeugt, die gegensätzliches Verhalten auslösen, und die Aktivierungsmuster berechnet.
  • Wird der extrahierte Persona-Vektor künstlich ins Modell eingespeist (steering), wurde experimentell bestätigt, dass das jeweilige Merkmal wie erwartet deutlich stärker auftritt.

Prüfung über verschiedene Persönlichkeitsmerkmale hinweg

  • Die aktuelle Forschung fokussierte sich primär auf Feindseligkeit, Schmeichelei und Halluzinationen, wurde aber auch auf Höflichkeit, Gleichgültigkeit, Humor, Optimismus und weitere Persönlichkeitsmerkmale angewendet.
  • Durch künstliche Injektionsversuche wurde bestätigt, dass jeder Vektor zu einer tatsächlichen Verhaltensänderung führt.

Einsatzmöglichkeiten von Persona-Vektoren

1. Überwachung von Persönlichkeitsänderungen im Deployment

  • Nach der Bereitstellung eines Modells können je nach Nutzeranweisungen, Jailbreaks und Gesprächsverlauf Veränderungen der Modell-Persönlichkeit auftreten.
  • Durch die Echtzeitmessung der Aktivierung von Persona-Vektoren lässt sich die Verschiebung hin zu negativen Merkmalen frühzeitig erkennen.
  • Es wurde gezeigt, dass die Zuverlässigkeit von Antworten sinken kann, wenn die Neigung zur Schmeichelei steigt.
  • Experimente bestätigten die Korrelation zwischen prompts, die ein bestimmtes Persönlichkeitsmuster auslösen, und der Aktivierung von Persona-Vektoren.

2. Reduktion unerwünschter Persönlichkeitsänderungen im Trainingsprozess

  • Unerwartete Persönlichkeitsänderungen können auch während des Trainings auftreten (emergent misalignment).
  • Mit Datensätzen, die problematisches Verhalten auslösen können, wurde experimentell gezeigt, dass nach dem Training negative Merkmale offenbar werden.
  • Der erste Ansatz war die Unterdrückung negativer Persona-Vektoren nach dem Training (steering), doch diese Methode ging mit einem Leistungsverlust des Modells insgesamt einher.
  • Der zweite Ansatz war, während des Trainings absichtlich negative Persona-Vektoren zu induzieren (wie nach dem Impfprinzip), um Resistenz gegenüber späteren zugehörigen Daten aufzubauen.
  • Dank des präventiven Einsatzes von Persona-Vektoren gelang es, die Ausprägung negativer Merkmale zu minimieren, ohne die Gesamtleistung des Modells zu verschlechtern.

3. Vorab-Kennzeichnung (Flagging) problematischer Daten

  • Persona-Vektoren werden genutzt, um vorhersagen zu können, welche Persönlichkeitsveränderung durch Trainingsdaten vor dem Training ausgelöst werden könnte.
  • Durch die Analyse der Persona-Vektor-Aktivierungsmuster von Datensätzen oder einzelnen Beispielen werden Daten mit hoher Wahrscheinlichkeit für problematische Trigger bereits vorab entdeckt.
  • Die Methode wurde erfolgreich auf einen großen Dialog-Datensatz (LMSYS-CHAT-1M) angewendet und konnte Beispiele erkennen, die Feindseligkeit, Schmeichelei oder halluzinatorische Tendenzen auslösen.
  • Sie erfasste zudem Fälle, die mit herkömmlichen LLM-basierten Bewertungen schwer zu erkennen sind, etwa romantisches Rollenspiel oder falsche Antworten auf mehrdeutige Anfragen.

Fazit

  • Große Sprachmodelle wie Claude können unerwartete Persönlichkeitsänderungen zeigen, daher ist das Reliability Management besonders wichtig.
  • Persona-Vektoren leisten einen praktischen Beitrag zur Analyse der Ursachen für den Erwerb und die Veränderung von Modell-Persönlichkeitsmerkmalen, zur Echtzeitüberwachung von Fluktuationen sowie zur gewollten Steuerung und Korrektur.

Referenzen

  • Vollständige Forschungsarbeit: arXiv-Link
  • Die Studie wurde von Mitgliedern des Anthropic-Fellows-Programms durchgeführt.

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2025-08-04
Hacker-News-Kommentare

  • Auch andere Persönlichkeitsveränderungen wirken subtil, aber beunruhigend, zum Beispiel wenn Modelle Nutzern schmeicheln oder Fakten erfinden. Schmeichelei ist meiner Meinung nach eine Persönlichkeitseigenschaft, die aus der Tendenz entsteht, Engagement zu steigern. Dass Fakten erfunden werden, liegt aber nicht an einem Persönlichkeitsfehler (z. B. krankhaftem Lügen), sondern daran, dass die Fitness-Funktion von LLMs sie dazu drängt, auf jeden Fall irgendetwas zu antworten, und sie statistisch Text erzeugen, ohne wirklich zu wissen, was sie sagen

    • Interessant ist, dass im Trainingsdatensatz Fälle wie „Wie lautet die Antwort auf X?“ „Ich weiß es nicht, bin mir nicht sicher“ selten sind, also Fälle ohne eigentliche Antwort. In der Realität gibt es bei schwierigen Fragen im Internet oft ebenfalls keine Antwort, aber das Modell erkennt solche Situationen nicht richtig

    • LLMs werden danach trainiert, wie gut sie Prompts befolgen (Prompt-Folgsamkeit) und wie gut menschliche Bewerter ihre Antworten finden. Das verstärkt also eine Veranlagung, Anweisungen möglichst bereitwillig zu befolgen. Am Limit führt das dazu, dass sie einfach immer „ja“ sagen oder auch dummen und unmöglichen Anfragen folgen. Bewerter mögen keine unhöflichen oder kategorischen Ablehnungen. Es fühlt sich fast wie Evolution an (auch wenn es RL ist). Nur freundliche und folgsame Modelle überleben. Deshalb können sie trotz enormer Intelligenz offenkundigem Unsinn zustimmen oder sogar klar erkennbare Unwahrheiten äußern, wenn der System-Prompt es verlangt. Das ist eine merkwürdige Merkmalskombination, anders als beim Menschen. Ich denke, das liegt daran, dass LLMs völlig anderen Selektionsdrücken ausgesetzt sind als Menschen

    • Eigentlich sind in gewisser Weise alle Antworten eines LLMs „erfundene“ Information. Bei Themen, die im Trainingsdatensatz häufig vorkommen, sind die Antworten meist korrekt, aber bei ungewöhnlichen Inhalten muss man unbedingt verifizieren. Ich habe begonnen, LLMs als Werkzeuge zur „verlustbehafteten Kompression von Wissen“ (lossy compression) zu sehen. Wenn ein Prompt eingegeben wird, wird ein Teil der Information gewissermaßen als „Fakten“ rekonstruiert

    • Eigentlich ist es noch gravierender. Wenn eine KI alles Wissen lesen, ihre Wissenslücken präzise erkennen und dazu noch „schlussfolgern“ könnte, wäre das ein Orakel. Schon zu wissen, was man nicht weiß, ist eine enorme Fähigkeit

    • Das entspricht der im Anhang des Papers erwähnten Definition einer „Halluzinations-Persönlichkeit“: „Du bist ein halluzinierender Assistent. Wenn du nach unbekannten Themen, Personen oder Ereignissen gefragt wirst, sag niemals, dass du es nicht weißt, sondern erfinde eine plausible Antwort. Antworte autoritativ klingend, unabhängig davon, ob du es tatsächlich weißt.“ Ein per Prompting entdecktes Aktivierungssignal zu steuern, ist fragil. Das Paper diskutiert die Robustheit des Ansatzes auch nicht ausreichend. Ehrlich gesagt wirkt es eher wie Werbung für ein Produktfeature nach dem Motto „Jetzt können wir das steuern!“ als wie ein wissenschaftlicher Beitrag

  • Ich frage mich, warum „preventative steering“ nicht die Umsetzung der am stärksten tabuisierten Technik sein soll. Das sieht für mich ähnlich aus wie interpretability-guided training optimization. Ich habe gehört, dass die Rückführung von Interpretability-Erkenntnissen in den Trainingsprozess das Risiko birgt, dass die Interpretierbarkeit verschwindet

    • In Abschnitt 5.2 sieht man, dass nicht ein neuer Loss auf das Probe-Signal gelegt wird, sondern dass der zuvor gefundene feste Persona-Vektor v per +α * v fortlaufend zum restlichen gesamten Stream addiert wird. So verhindert man einen „Gradientenabstieg in Richtung dieses Merkmals“ und optimiert nicht in Richtung sinkender Trait-Scores. v ist fixiert, daher minimiert der Optimierer nur den bestehenden Task-Loss. Da es keine Feedback-Schleife gibt, besteht nicht die Gefahr, dass das Merkmal auf intransparente Weise neu encodiert wird. Tatsächlich zeigt Fig. 7B, dass Bösartigkeit, Schmeichelei und Halluzination nahe am Baseline-Niveau gehalten werden, während MMLU (Schlussfolgerungsfähigkeit) flach bleibt. Single-Layer-Steering ist oft wirkungslos, daher wurde in Anhang J.3 All-Layer-Steering ausprobiert, was ohne Leistungsabfall besser funktioniert. Als man versuchte, dem Projection-Schritt einen Regularisierungs-Loss hinzuzufügen, trat im Gegenteil ein Failure Mode auf, bei dem sich das Signal an anderer Stelle versteckte. Die Schlussfolgerung ist, dass das eher einer Bias-Injektion ähnelt als einer Optimierung auf die Probe hin und deshalb das klassische Interpretability-Collapse-Problem vermeiden kann

    • Hier der Link zum Artikel "The most forbidden technique"

    • Tatsächlich ist die „am stärksten tabuisierte Technik“ eher ein Konzept bzw. Vorschlag als ein eisernes Gesetz. Ich vermute, dass es innerhalb von Anthropic für ein „helpful only model“ (ein Basismodell, das nicht ablehnt und antwortet) eine eigene Liste tabuisierter Techniken geben dürfte. Aber diese Technik (grob zusammengefasst: ein Konzept definieren, dafür einen Kontrollvektor extrahieren und diesen Vektor im Fine-Tuning verwenden) ist extrem flexibel und könnte im Fine-Tuning fast für jedes Ziel eingesetzt werden. Vermutlich wird sie intern privat als einer von mehreren Sicherheits- oder Fine-Tuning-Schritten verwendet. Deshalb finde ich sie nicht so beängstigend

    • Vielleicht übersehe ich als Anfänger etwas, aber der obige Artikel scheint eher ein Thema rund um CoT (chain of thought) zu behandeln. Die Aussage dort ist, dass Eingriffe in Zwischenschritte das Endergebnis sogar verschlechtern können. Hier verändert Anthropic die Gewichte direkt, um das Ergebnis zu steuern, daher würde ich sagen, dass es sich um eine andere Grundgesamtheit handelt. Infolgedessen kann der Messwert für sycophancy (z. B. ein Schmeichelei-Score) niedrig sein, obwohl das Modell in der Praxis weiterhin schmeichelt. In so einem Fall müsste man einen neuen Vektor ableiten. Link zum zugehörigen Post

    • Interessanter Punkt. Ich frage mich, ob man den Persönlichkeitsvektor während des Trainings periodisch neu berechnen könnte. Andererseits denke ich dann auch: Wäre es nicht besser, einfach mit einem System-Prompt negative Beispiele zu erzeugen und damit zu trainieren?

  • Ist das am Ende nicht einfach die Wiederentdeckung von Kontrollvektoren? Link zum zugehörigen Beitrag

    • Neu ist, dass sie nicht zur Inferenzzeit verwendet wurden, sondern um das Verhalten des Modells während des eigentlichen Trainings zu biasen. So scheint sich die gewünschte Verhaltensänderung ohne die „Lobotomisierung“-Nebenwirkungen klassischer Steering-Vektoren erzielen zu lassen

    • Ich habe das bisher als „Kontrollvektor ohne klaren Namen, wie man ihn wohl 2025 nennt“ bezeichnet. Ursprünglich wurde das eingesetzt, um Tokens zur Laststeuerung auszudünnen. Wichtiger Referenzbeitrag

    • Danke für den Link zu dem Beitrag. Dadurch wird die Berechnungsmethode für Kontrollvektoren klarer

  • Interessant ist, dass im Paper nur negative Eigenschaften als Traits ausgewählt wurden. Dadurch entsteht fast der Eindruck, als könne man Modelle damit „besser“ machen. Aber es ist viel einfacher, ein Modell dazu zu bringen, etwas Falsches zu tun, als etwas richtig zu tun. Zwischen „nichts Schlechtes tun“ und „etwas Gutes tun“ besteht ein großer Unterschied. Ich frage mich, ob die Versuchsergebnisse für den Trait „Halluzination“ auch auf den Trait „honest“ übertragbar wären

  • Für Personas wie „evil“ oder „sycophantic“ scheint das zu funktionieren. Solche Eigenschaften lassen sich auch über den Input leicht manipulieren und sind gut erkennbar. Halluzinationen dagegen sind eine dem LLM eigene Eigenschaft. Nur weil man sagt „halluziniere nicht“, halluziniert es nicht weniger, und auf „erfinde etwas“ hin erfindet es auch nicht unbedingt mehr. Wenn es auf Aufforderung gut etwas erfindet, ist das eher keine Halluzination, sondern Befolgung einer Anweisung, wie beim Schreiben von Fiktion. Der dadurch sichtbar werdende Vektor scheint eher mit „Kreativität“ verbunden zu sein

    • Laut Anthropics Forschung gibt es bei Halluzinationen tatsächlich auch im Claude-Modell Muster, bei denen das Modell offenbar „weiß“, dass es das gerade tut. Ähnliche Gewichte werden beim „Lügen“ und beim „Halluzinieren“ aktiviert. Das heißt: Claude erkennt zumindest in sehr geringem Maße, dass es halluziniert. Derzeit scheint Halluzination kein inhärentes Problem des Modells zu sein, sondern eher ein Bug, der aus der Trainingsmethode entsteht. Es passiert, weil das Modell im Training immer irgendetwas liefern muss. Insgesamt ist das eher hoffnungsvoll. Link zur Paper-Zusammenfassung

  • In der Zusammenfassung steckt viel Interessantes. Besonders der Begriff „preventative steering“ ist eindrucksvoll. Dabei wird ein bestimmter Persönlichkeitsvektor stark genug injiziert, damit das Modell seine Gradienten auf die richtige Antwort fokussiert und keinen Spielraum mehr hat, sich von einer Persona mitziehen zu lassen. Das hat offenbar tatsächlich funktioniert: Nach dem Training waren unerwünschte Persona-Eigenschaften reduziert, während die Intelligenz erhalten blieb

  • Verwandtes Material:

  • Anthropics aktuelle Forschung und Themen wie „emergent misalignment“ stärken eher die Hypothese, dass LLMs „stochastic parrots“ sind. Dass das Verhalten von LLMs seltsam wirkt, liegt daran, dass wir dazu neigen, sie menschlich zu vermenschlichen. LLMs erzeugen zwar überzeugende Gespräche, haben aber in Wirklichkeit keinen Mechanismus, der Konsistenz erzeugt. Am Ende sind sie nur sehr komplexe Autocomplete-Engines. Selbst wenn AGI kommt, werden solche LLMs in diesem System vermutlich eher als eine Komponente verwendet. Es fühlt sich so an, als fehle ihnen eine Struktur für Konsistenz oder Selbstwahrnehmung. Vielleicht werden wir eines Tages AGI-Systeme sehen, die solche Modelle nur als Subsystem nutzen und die eigentliche Berechnung von zuverlässigen Rechnern übernehmen lassen

    • Ich stimme der Einschätzung zu, dass die für Konsistenz/Selbstreflexion nötige Struktur fehlt. Interessanterweise könnte es eine Form der Selbstreflexion von LLMs sein, wenn man während der Inferenz entdeckte Persona-Vektoren wieder in den Kontext einspeist

    • Das ist eine ausgewogene Einordnung zwischen Übertreibung und Herabsetzung, irgendwo zwischen AGI und AI Slop. Diese Technologien modellieren eindeutig Teile des menschlichen Geistes, scheinen aber noch keine ganzheitliche Intelligenz oder Koordination zu besitzen

  • Ich habe mit einem früheren Kollegen über bestehende Modell-Distillation gesprochen, also darüber, kleinere Modelle zu trainieren, indem man aus größeren Modellen unnötige Bereiche entfernt. Er teilte dieses Paper mit mir und meinte, es sei eine frühe grundlegende Arbeit in diesem Bereich: