Representation Engineering: Mistral-7B auf einem Acid Trip

 (vgel.me)
2 Punkte von GN⁺ 2024-02-19 | 1 Kommentare | Auf WhatsApp teilen

Representation Engineering, Mistral-7B auf einem Acid Trip

  • Was ist ein Kontrollvektor?

    • Ein Kontrollvektor ist ein Vektor (eine Liste von Vektoren pro Schicht), der auf die Modellaktivierungen während der Inferenz angewendet wird und das Verhalten des Modells ohne zusätzlichen Prompt steuert.
    • Mit demselben Prompt und Modell erzeugt derselbe Kontrollvektor unterschiedliche Ergebnisse, je nachdem, ob er angewendet wird und wie stark.

  • Die Erstellung eines Kontrollvektors ist nicht schwierig

    • Es wird ein Datensatz mit kontrastierenden Prompt-Paaren über PCA aufgebaut, das Modell wird ausgeführt, um die verborgenen Zustände jeder Schicht zu sammeln, und anschließend wird pro Schicht mithilfe von PCA mit einer einzelnen Komponente der Kontrollvektor berechnet.
    • Dieser Vorgang braucht nur wenige Zeilen Code und etwa eine Minute.

  • Was man mit Kontrollvektoren machen kann

    • Mit Kontrollvektoren kann ein KI-Modell in einen Zustand wie einen „Acid Trip“ oder in Modi wie "Faulheit", "Fleiß" und „Kreativität“ versetzt werden.
    • Jeder Kontrollvektor lässt sich in wenigen Minuten trainieren und kann direkt über ein Experiment-Notebook auf GitHub ausprobiert werden.

  • Kontrollvektor gegen Prompt Engineering

    • Kontrollvektor und Prompt Engineering sind unterschiedliche Ansätze, überlappen aber in manchen Bereichen.
    • Kontrollvektoren können Ergebnisse erzeugen, die durch Prompt Engineering repliziert werden können, wobei die Intensität jedoch leichter einstellbar ist.

GN⁺-Meinung

  • Bedeutung von Kontrollvektoren: Kontrollvektoren sind ein leistungsfähiges Werkzeug, um das Verhalten von KI-Modellen fein zu justieren, und eröffnen neue Möglichkeiten, die über die Grenzen des Prompt Engineerings hinausgehen.
  • Effizienz und Zugänglichkeit: Durch Kontrollvektoren können Nutzer das Verhalten von Modellen leicht anpassen, ohne komplizierte Prompt-Konstruktionen zu verwenden, was die Nutzbarkeit von KI erheblich verbessern kann.
  • Kreative Nutzung: Die Verwendung von Kontrollvektoren, um KI in einen Zustand wie einen „Acid Trip" zu versetzen, ermöglicht neue Dimensionen experimenteller Ansätze in der KI-Forschung.

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2024-02-19
Hacker News Kommentare
  • Ich bin fast so etwas wie von dem Gedanken an die enorme Wirkung dieser Technik überwältigt. Vielleicht ist mein Verständnis nicht ganz exakt, aber es scheint zu bedeuten, dass man persönliche „Kontrollvektoren“ speichern kann, um die Ausgaben von ChatGPT näher an individuelle Präferenzen anzupassen. Das kann zu personalisierter KI-Unterhaltung führen, in der starke persönliche und globale Netzwerkeffekte entstehen könnten. Das deutet darauf hin, dass ein einzelnes Großunternehmen in Zukunft alle Märkte beherrschen könnte.
  • Der Beitrag ist gut geschrieben und spannend. Eine Bitte, Literatur oder Blogbeiträge zu teilen, um ein besseres Verständnis von LLMs zu bekommen.
  • Kontrollvaktoren erinnern mich an menschliche Hormone. Sie verändern auf einen Schlag einen großen Teil des Modellverhaltens. In zehn Jahren könnte man KI-Psychiater erleben, die einem Begleit-Helfer Glücks-Zusätze verschreiben.
  • Ich habe so etwas als Zusammenfassung von LLMs noch nie gesehen, und mir gefällt dieser Ansatz.
  • Der Artikel ist lustig und bildet einen guten Kontrast zu dem jüngsten Beitrag „You Sound Like a Bot“ über die Monotonie von KI. Weniger ernst genommen gesehen ist es eine echte Herausforderung für einen Sci-Fi-Autor, einen „Selbstbewusstseins“-Vektor zu finden, obwohl man weiß, welche Probleme er der Menschheit bereiten könnte.
  • Das ist ähnlich wie die Korrektur von Verzerrungen und ist ein Konkurrent von LoRA. Durch das Fine-Tuning nur des Vektors, der zu jeder Aktivierung der linearen Schicht hinzugefügt wird, kann man einen brauchbaren Adapter erhalten.
  • Der Beitrag ist großartig. Frage: Warum Kontrollvektoren über alle Schichten hinweg in ein neuronales Netzwerk integriert werden? Besteht nicht die Gefahr, dass die Datenrepräsentation zu stark verzerrt wird, wenn jeder Vektor alle Schichten durchläuft?
  • Der Artikel ist sehr gut. Bei Kontrollvektoren wird nicht das Verhalten des Modells geändert, sondern die Einschätzung des Modells über das Verhalten anderer Menschen. Es ist derselbe „ehrliche“ Vektor, der dabei entsteht, wenn man das Modell bittet, sich ehrlich oder unehrlich zu verhalten.
  • Aus Inferenzperspektive (das Hinzufügen von etwas zu allen Schichten) ist das sehr ähnlich zu LoRA. Sind Kontrollvektoren so zu encodieren, dass sie als LoRA mit bestehenden Inferenz-Frameworks ohne große Probleme genutzt werden können, oder verstehe ich das falsch?
  • Es stellt sich die Frage, ob man mehrere Vektoren gleichzeitig anwenden kann. Zum Beispiel eine Kombination aus halluzinativ und traurig, ehrlich und selbstbewusst, faul und kreativ.