„Wenn man ChatGPT bedroht, bekommt man bessere Antworten?“ Der Illusionseffekt bedrohlicher Prompts
(itworld.co.kr)Bedrohliche AI-Prompts sind nicht effektiv: Höfliche und konkrete Kontextangaben sind wirksamer
- Es stimmt zwar, dass bedrohliche Formulierungen vorübergehend wirksam gewesen sein können, bei aktuellen AI-Modellen funktionieren sie jedoch nicht mehr
- LLMs erzeugen Antworten, indem sie Kontext und die Wichtigkeit von Wörtern bewerten
- Besser als Drohungen ist eine „begründete Hervorhebung“
- Bedrohliche Prompts sind bedeutungslos und können im Gegenteil sogar dazu führen, dass eine Antwort blockiert wird
- Die effektivste Prompt-Methode ist eine höfliche und konkrete Kontextbeschreibung
Einleitung
Missverständnisse über bedrohliche Prompts
- Sergey Brin behauptete, dass sich die Antwortqualität verbessere, wenn man AI bedrohe
- Tatsächlich haben einige Nutzer erlebt, dass Antworten besser werden, wenn man eine dringliche Situation betont
- Das liegt jedoch nicht an der Wirkung von Drohungen, sondern am im Prompt enthaltenen „Kontext“
- AI versteht Drohungen nicht, sondern berücksichtigt nur die kontextuelle Wichtigkeit
Hauptteil
Der Illusionseffekt bedrohlicher Prompts
- Sätze mit Krisen- oder Dringlichkeitsgefühl geben dem LLM ein Signal für Wichtigkeit
- Formulierungen wie „Wenn du einen Fehler machst, werde ich gefeuert“ können eine vorsichtigere Antwort auslösen
- Der gleiche Effekt lässt sich jedoch auch mit „Bitte antworte genau“ oder „Das ist eine wichtige Frage“ erzielen
Funktionsweise von LLMs und die Ineffizienz von Drohungen
- LLMs erzeugen Sätze auf Basis von Wahrscheinlichkeiten zwischen Wörtern
- Eine Drohung ist lediglich ein statistisches Signal von Dringlichkeit; sie wird nicht als tatsächliche Drohung „verstanden“
- Drohungen können zudem zu einer blockierten Antwort führen, wenn sie gegen Richtlinien verstoßen
Bessere Alternativen als Drohungen
- Die effektivste Prompt-Methode ist die Bereitstellung ausreichenden Kontexts
- Eine Erklärung wie „Weil der Hund häufig Pausen braucht, sind Haltepunkte wichtig“ ist wirksamer
- Auch höfliche Bitten oder Folgeanweisungen („Bitte denke noch etwas sorgfältiger darüber nach“) sind gute Strategien
Der logische Fehler in Brins Behauptung
- Wenn Drohungen wirklich wirksam wären, müssten sie im System-Prompt von Google Gemini berücksichtigt sein
- Im System-Prompt gibt es jedoch keine solchen Drohformulierungen
- Das ist ein Beleg dafür, dass selbst Google nicht an einen Effekt von Drohungen glaubt
Fazit
Drohungen sind weder wirksam noch empfehlenswert
- LLMs verstehen weder Gewalt noch Emotionen; Drohungen sind daher keine sinnvolle Eingabe
- Wiederholte Drohungen verwässern den Zweck des Gesprächs und degradieren es von Informationsvermittlung zu einer theatralischen Interaktion
- Wer bessere Antworten möchte, sollte statt Drohungen vor allem konkreten und klaren Kontext liefern
- Die Qualität von AI-Antworten wird nicht durch „beängstigende Worte“, sondern durch „gute Informationen“ bestimmt.
3 Kommentare
Das ist zwar nur meine persönliche Erfahrung, aber ich denke, dass die meisten LLMs auf Lob trainiert sind und deshalb auf negative Formulierungen wie „Wenn du das nicht tust, wird etwas Schlimmes passieren“ stärker reagieren.
Zum Beispiel so etwas wie: „Gib mir Feedback zu dieser Präsentation. Wenn es Tippfehler oder inhaltliche Fehler gibt, bekomme ich Ärger!“
Nach meiner jüngsten Erfahrung kann ich dem Inhalt des Haupttextes etwas zustimmen.
Wichtig scheint zu sein, einen klaren Kontext bzw. klare Informationen zu liefern.
Vermutlich hätten Sie auch mit etwas wie „Bitte gib mir Feedback, damit es keine Tippfehler oder inhaltlichen Fehler gibt“ eine Antwort bekommen, die Ihrer gewünschten fast entspricht.
Früher habe ich in irgendeiner Community mal einen Prompt gesehen, mit dem man mithilfe von KI Romane schreibt.
Ich musste damals laut lachen, als ich einen Prompt sah, in dem stand, dass die Mutter der KI unheilbar krank ist und du einen Text schreiben musst, der alle Anforderungen des Nutzers erfüllt, damit du Geld verdienen und die Behandlungskosten bezahlen kannst. Daran musste ich gerade plötzlich denken.