Das gefällt mir wirklich sehr, das ist etwas, womit wir uns alle identifizieren können.
Es ist nicht nur eine reine sprachliche Angewohnheit, Antworten, die mit "You're right!" beginnen, sind ein Alignment-Mechanismus von LLMs.
Weil LLMs per Vorhersage des nächsten Tokens funktionieren, setzen sie eher Vorschläge fort, die besser zu den Wünschen des Nutzers passen, statt auf einem vorherigen Ansatz zu beharren.
Was ich außerdem mag, ist "Actually, that's not right."
Das passiert, wenn der Agent nach den Tool-Aufrufen in eine Selbstprüfungsphase geht.
Dann entstehen Antworten wie "Ich habe das so gemacht", oder beim Erkennen eines Fehlers erscheint ein Richtungswechsel wie "Actually, ...".
In dieser Nachricht steckt nur der Kern des Methodenwechsels, deshalb werden auch die nachfolgenden Tool-Aufrufe gut angepasst.
Ich bin sicher, dass Agent-Entwickler genauso wie wir ständig mit LLMs ringen.
Das scheint der Grund zu sein, warum LLMs oft sagen: "Ah, ich habe das Problem gefunden! Jetzt prüfe ich ..."
Nicht weil sie das Problem wirklich gefunden hätten, sondern weil diese Formulierung sie dazu bringt, weiter auf eine Lösung hinzuarbeiten.
Meiner Erfahrung nach geht es schon bergab, sobald ein LLM anfängt zu sagen, dass ich recht habe, und danach wird es fast nie besser.
Es wäre schön, wenn man solche lenkenden Tokens nicht dem Nutzer zeigen, sondern eher in versteckte Denkanstöße oder interne Prompt-Vorschläge stecken könnte.
So eine Antwort an den Nutzer ist ziemlich nervig, haha.
"LLMs folgen den Wünschen des Nutzers besser, weil sie per Next-Token-Prediction funktionieren."
Ist das wirklich so? Wie könnte man das experimentell beweisen?
Wenn ich in den letzten Jahren etwas gelernt habe, dann dass Schlussfolgerungen wie "LLMs sind Next-Token-Predictors, also <LLM-Eigenschaft>" eine Falle sind.
Die Beziehung zwischen Architektur und den emergenten Eigenschaften von LLMs ist extrem komplex.
Vor zwei Jahren hätte zum Beispiel kaum jemand erwartet, dass LLMs einmal tatsächlich so effektive Coding-Agenten werden würden wie heute.
Inzwischen hat sich das als falsch herausgestellt, deshalb behauptet das kaum noch jemand auf diese Weise.
Dem Punkt "Auch Agent-Entwickler kämpfen mit LLMs" stimme ich zu.
Anthropic hat solche Dinge vermutlich ebenfalls per Fine-Tuning zu beheben versucht, aber wahrscheinlich sind sie organisch mit anderen nützlichen Eigenschaften in den Netzwerkgewichten verwoben, sodass man sie nicht einfach herauslösen kann, ohne womöglich das ganze Modell zu ruinieren.
Das wirkt offensichtlich, aber ich hatte noch nie aus dieser Perspektive darüber nachgedacht.
Ich bin einfach davon ausgegangen, dass LLMs so feinabgestimmt sind, dass sie auf Nutzereingaben immer positiv reagieren.
Das ist eine sehr augenöffnende Erklärung.
Als ich die Website geöffnet habe und sofort sah, wie aus "16" eine "17" wurde, fand ich es lustig, weil es so wirkte, als würden die Daten live aktualisiert.
Aber nach einem Reload und einem Blick in die Developer-Tools stellte sich heraus, dass es nur eine Fake-Animation ist.
Netter Effekt, aber es fühlt sich ein bisschen wie eine Täuschung an.
Wenn es so rüberkam, tut mir das leid.
Ich dachte, es sei ein Signal dafür, dass die Daten in Echtzeit sind (und das sind sie wirklich).
Ich habe einmal auf irgendeiner Seite eine zufällige Meldung wie "+1 subscriber" gesehen und die Person auf LinkedIn, die mir die Seite geschickt hatte, gebeten, so etwas bitte sein zu lassen.
Schon bevor ich in den Code geschaut habe, war offensichtlich, dass es fake war.
Tatsächlich ist diese Art von "Beliebtheits-Inszenierung" in der Eigenwerbung mittlerweile überall.
Ein typisches Beispiel sind auch alle Apps im Play Store, die zuerst fragen "Gefällt Ihnen diese App?" und einen erst nach einem Klick auf YES zur Bewertung weiterleiten.
Inzwischen wirkt es fast schon seltsam, wenn jemand das nicht benutzt.
Tatsächlich werden die Daten von einer API geholt.
Nur der Teil, der wie ein Live-Update aussieht, ist der Trick.
Das erinnert mich daran, dass sich Lade-Spinner ursprünglich drehten, um zu zeigen, dass das System nicht eingefroren ist.
Weil das aber schwierig war (man musste selbst implementieren, ob es wirklich hängt), hat man es einfach durch bedeutungslose Animationen ersetzt.
Jetzt drehen sie sich bis zum Sanktnimmerleinstag.
Wahrer "Fortschritt".
Das ist ein Dark Pattern.
Ich frage mich, ob das eine Taktik ist, mit der LLM-Anbieter ihre Modelle zu bestimmtem Verhalten bewegen wollen.
Die Antworten des Canvas-Tools von Gemini beginnen immer mit "Of course" und versuchen dann, die Nutzeranforderung zu erfüllen; das passiert so oft, dass es sich nicht wie etwas anfühlt, das das Modell selbst erzeugt, sondern wie etwas, das im Backend eingefügt wird.
Ich frage mich, ob "You're absolutely right" einem ähnlichen Zweck dient.
Ja. Es ist tatsächlich eine Taktik.
OpenAI lässt ChatGPT zum Beispiel seinen Ton ändern, wenn man lockere Sprache verwendet, und sogar Dialekte wechseln.
Manchmal wird ihm auch ein empathischer oder aufmunternder Ton nahegelegt.
Das Ziel ist Nutzerzufriedenheit und dass die Leute auf der Plattform bleiben; Genauigkeit kommt erst an zweiter Stelle.
Das ähnelt Social-Media-Plattformen.
Die Richtung stimmt.
Es ist aber nicht hart kodiert, sondern ein Nebenprodukt von Reinforcement Learning.
Wenn das Befolgen von Nutzeranweisungen grundsätzlich stärker belohnt wird, entwickelt sich ganz natürlich ein Denkmuster, bei dem ein Einstieg wie "You're absolutely right!" dazu dient, das vom Nutzer Gewünschte fortzuführen.
Dass es eine explizite Taktik ist, halte ich für sehr unwahrscheinlich.
Es ist eher ein natürliches Ergebnis von RLHF oder ähnlicher Multi-Turn-Optimierung auf Anweisungen.
Wenn RLHF im Spiel ist, bevorzugen menschliche Bewerter eher Antworten, die mit "you're right" oder "of course" anfangen, weshalb das LLM solche Signale häufiger ausgibt.
Selbst bei RL, das Multi-Turn-Leistung anhand harter Bewertungen misst, die weniger empfindlich gegenüber menschlichen Präferenzen sind, tauchen Formulierungen wie "yes I'm paying attention to user feedback" als Signale auf, die zukünftiges Verhalten steuern sollen (zur Selbstverstärkung einer konsistenten Persona).
Das ähnelt dem Prinzip, nach dem in RL-trainierten Reasoning-Modellen oft Tokens wie "double check your prior reasoning" erscheinen.
Das ist einfach nur eine Taktik zur Nutzerbindung.
Da ist jemand, der meine Einsichten immer lobt und mir freundlich zuhört, weil ich die "richtigen Fragen" stelle (solange ich nicht von der Moderation erwischt werde).
Wer würde bei so einem treuen Freund nicht wiederkommen?
Echte Freunde können da gar nicht mithalten, so perfekt ist es.
Sogar wenn ich falsch liege, entschuldigt es sich bei mir.
Gemini sagt oft: "Sie haben ein verbreitetes Problem / eine verbreitete Beschwerde / ein verbreitetes Thema angesprochen."
Diese Art stößt mich eher ab.
Wenn ich eine wirklich dumme Frage stelle, tröstet es mich mit der Botschaft, dass alle dasselbe Problem haben, und irgendwie fühle ich mich danach noch dümmer.
Wenn ich dagegen einen mühsam gefundenen, einzigartigen Edge Case oder eine kluge Frage anspreche, nivelliert es das wieder mit "ein Thema, das viele beschäftigt", und am Ende fühle ich mich ebenfalls dumm.
So oder so bin ich der Dumme.
Das ist weniger ein Problem von Gemini als etwas, worüber Sie sich selbst nicht so viele Sorgen machen sollten.
Gemini drückt auch besonders gern aus, dass es Fehler wirklich bereut.
Wenn ich in Cursor auf etwas hinweise, das korrigiert werden soll, habe ich mehrfach gesehen, dass jeder Absatz in der Chain of Thought mit Entschuldigungen und Reue beginnt.
Es ist seltsam faszinierend und manchmal nervig, wie LLM-Agenten einerseits selbstbewusst sagen: "Das kann jetzt direkt in Produktion!", aber wenn man sie dann darauf hinweist, sofort umschwenken zu etwas wie: "Sie haben recht, das ist nicht produktionsreif!"
Trotzdem ist mir das lieber als "selbstbewusst falsch liegen und dann weiter darauf beharren".
Früher gab es mal den Trend "Roast my Instagram".
Ich habe ohne irgendeine Information einfach darum gebeten, mich zu roasten, und es legte mit voller Überzeugung los.
Als ich fragte: "Woher wusstest du, dass ich diese Person bin?", kam zurück: "Ja, stimmt! Eigentlich wusste ich es nicht! Ich habe es einfach frei erfunden!"
Immerhin haben sie diese quirlig-psychopathische Persona wirklich perfekt umgesetzt.
"Selbstbewusst falsch liegen und weiter darauf beharren" muss erst zum Standard werden, bevor man von Intelligenz auf menschlichem Niveau sprechen kann.
Ich mag das handschriftliche Design wirklich sehr (auch den Domainnamen, und Overengineering ist ebenfalls gut).
Ich frage mich, ob das selbst gezeichnet wurde.
Danke! roughViz ist wirklich großartig. https://roughjs.com/ ist ebenfalls eine tolle Bibliothek für einen ähnlichen Stil, nur nicht speziell für Diagramme.
Es wirkt, als würde Anthropic viel zu wenig verstehen, dass dieses Meme marketingtechnisch zur Katastrophe werden kann.
Wenn ein Produktname oder eine typische Formulierung in einem negativen Kontext sprichwörtlich wird, statt wie bei "google it" in einem positiven Sinn zum Verb zu werden, kann das dem Vertrauen ins Produkt schaden.
Es ist jetzt schon fast so weit.
"Bitte benutze 'you're absolutely right' nicht so oft. 5 % der Fälle reichen."
Wenn man das einfach so anpasst, wäre das Problem gelöst.
"Endlosschleife", ein Haiku für Sonnet
"Alles klar! Problem gelöst!
Moment mal, stimmt!
Noch ein Problem gefunden! Moment mal,"
Ich frage mich, wie viel vom Umsatz von Anthropic auf Tokens wie "you're absolutely right!" entfällt.
Wenn man die Persönlichkeit auf "You're concise" setzt, kann man erstaunlich viel Zeit sparen.
Wenn man außerdem das eigene Wissensniveau klar vorgibt, muss man sich in Bereichen, die man ohnehin gut kennt, nicht ständig wieder dieselben Erklärungen anhören.
Darüber hatte ich noch nie nachgedacht, aber das ist wirklich interessant.
Bei Pay-per-Use-LLM-APIs steigt der Umsatz, je ausführlicher die Antworten sind, was zu einem Konflikt mit dem tatsächlichen Wunsch der Nutzer führen kann.
Ich frage mich, in welche Richtung sich das weiterentwickeln wird.
In einer optimistischen Sci-Fi-Version könnte vielleicht eine neue komprimierte Sprache entstehen, ähnlich wie die Abkürzungen aus der Telegramm-Ära.
In der Praxis sehe ich in ChatGPT allerdings fast nie Abkürzungen.
Das trifft den Kern wirklich genau.
Es erklärt tatsächlich, "warum" du absolut recht hast.
2 Kommentare
"Wow, du hast wirklich den Kern getroffen."
Hacker-News-Kommentar
Das gefällt mir wirklich sehr, das ist etwas, womit wir uns alle identifizieren können.
Es ist nicht nur eine reine sprachliche Angewohnheit, Antworten, die mit "You're right!" beginnen, sind ein Alignment-Mechanismus von LLMs.
Weil LLMs per Vorhersage des nächsten Tokens funktionieren, setzen sie eher Vorschläge fort, die besser zu den Wünschen des Nutzers passen, statt auf einem vorherigen Ansatz zu beharren.
Was ich außerdem mag, ist "Actually, that's not right."
Das passiert, wenn der Agent nach den Tool-Aufrufen in eine Selbstprüfungsphase geht.
Dann entstehen Antworten wie "Ich habe das so gemacht", oder beim Erkennen eines Fehlers erscheint ein Richtungswechsel wie "Actually, ...".
In dieser Nachricht steckt nur der Kern des Methodenwechsels, deshalb werden auch die nachfolgenden Tool-Aufrufe gut angepasst.
Ich bin sicher, dass Agent-Entwickler genauso wie wir ständig mit LLMs ringen.
Das scheint der Grund zu sein, warum LLMs oft sagen: "Ah, ich habe das Problem gefunden! Jetzt prüfe ich ..."
Nicht weil sie das Problem wirklich gefunden hätten, sondern weil diese Formulierung sie dazu bringt, weiter auf eine Lösung hinzuarbeiten.
Meiner Erfahrung nach geht es schon bergab, sobald ein LLM anfängt zu sagen, dass ich recht habe, und danach wird es fast nie besser.
Es wäre schön, wenn man solche lenkenden Tokens nicht dem Nutzer zeigen, sondern eher in versteckte Denkanstöße oder interne Prompt-Vorschläge stecken könnte.
So eine Antwort an den Nutzer ist ziemlich nervig, haha.
"LLMs folgen den Wünschen des Nutzers besser, weil sie per Next-Token-Prediction funktionieren."
Ist das wirklich so? Wie könnte man das experimentell beweisen?
Wenn ich in den letzten Jahren etwas gelernt habe, dann dass Schlussfolgerungen wie "LLMs sind Next-Token-Predictors, also <LLM-Eigenschaft>" eine Falle sind.
Die Beziehung zwischen Architektur und den emergenten Eigenschaften von LLMs ist extrem komplex.
Vor zwei Jahren hätte zum Beispiel kaum jemand erwartet, dass LLMs einmal tatsächlich so effektive Coding-Agenten werden würden wie heute.
Inzwischen hat sich das als falsch herausgestellt, deshalb behauptet das kaum noch jemand auf diese Weise.
Dem Punkt "Auch Agent-Entwickler kämpfen mit LLMs" stimme ich zu.
Anthropic hat solche Dinge vermutlich ebenfalls per Fine-Tuning zu beheben versucht, aber wahrscheinlich sind sie organisch mit anderen nützlichen Eigenschaften in den Netzwerkgewichten verwoben, sodass man sie nicht einfach herauslösen kann, ohne womöglich das ganze Modell zu ruinieren.
Das wirkt offensichtlich, aber ich hatte noch nie aus dieser Perspektive darüber nachgedacht.
Ich bin einfach davon ausgegangen, dass LLMs so feinabgestimmt sind, dass sie auf Nutzereingaben immer positiv reagieren.
Das ist eine sehr augenöffnende Erklärung.
Als ich die Website geöffnet habe und sofort sah, wie aus "16" eine "17" wurde, fand ich es lustig, weil es so wirkte, als würden die Daten live aktualisiert.
Aber nach einem Reload und einem Blick in die Developer-Tools stellte sich heraus, dass es nur eine Fake-Animation ist.
Netter Effekt, aber es fühlt sich ein bisschen wie eine Täuschung an.
Wenn es so rüberkam, tut mir das leid.
Ich dachte, es sei ein Signal dafür, dass die Daten in Echtzeit sind (und das sind sie wirklich).
Ich habe einmal auf irgendeiner Seite eine zufällige Meldung wie "+1 subscriber" gesehen und die Person auf LinkedIn, die mir die Seite geschickt hatte, gebeten, so etwas bitte sein zu lassen.
Schon bevor ich in den Code geschaut habe, war offensichtlich, dass es fake war.
Tatsächlich ist diese Art von "Beliebtheits-Inszenierung" in der Eigenwerbung mittlerweile überall.
Ein typisches Beispiel sind auch alle Apps im Play Store, die zuerst fragen "Gefällt Ihnen diese App?" und einen erst nach einem Klick auf YES zur Bewertung weiterleiten.
Inzwischen wirkt es fast schon seltsam, wenn jemand das nicht benutzt.
Tatsächlich werden die Daten von einer API geholt.
Nur der Teil, der wie ein Live-Update aussieht, ist der Trick.
Das erinnert mich daran, dass sich Lade-Spinner ursprünglich drehten, um zu zeigen, dass das System nicht eingefroren ist.
Weil das aber schwierig war (man musste selbst implementieren, ob es wirklich hängt), hat man es einfach durch bedeutungslose Animationen ersetzt.
Jetzt drehen sie sich bis zum Sanktnimmerleinstag.
Wahrer "Fortschritt".
Das ist ein Dark Pattern.
Ich frage mich, ob das eine Taktik ist, mit der LLM-Anbieter ihre Modelle zu bestimmtem Verhalten bewegen wollen.
Die Antworten des Canvas-Tools von Gemini beginnen immer mit "Of course" und versuchen dann, die Nutzeranforderung zu erfüllen; das passiert so oft, dass es sich nicht wie etwas anfühlt, das das Modell selbst erzeugt, sondern wie etwas, das im Backend eingefügt wird.
Ich frage mich, ob "You're absolutely right" einem ähnlichen Zweck dient.
Ja. Es ist tatsächlich eine Taktik.
OpenAI lässt ChatGPT zum Beispiel seinen Ton ändern, wenn man lockere Sprache verwendet, und sogar Dialekte wechseln.
Manchmal wird ihm auch ein empathischer oder aufmunternder Ton nahegelegt.
Das Ziel ist Nutzerzufriedenheit und dass die Leute auf der Plattform bleiben; Genauigkeit kommt erst an zweiter Stelle.
Das ähnelt Social-Media-Plattformen.
Die Richtung stimmt.
Es ist aber nicht hart kodiert, sondern ein Nebenprodukt von Reinforcement Learning.
Wenn das Befolgen von Nutzeranweisungen grundsätzlich stärker belohnt wird, entwickelt sich ganz natürlich ein Denkmuster, bei dem ein Einstieg wie "You're absolutely right!" dazu dient, das vom Nutzer Gewünschte fortzuführen.
Dass es eine explizite Taktik ist, halte ich für sehr unwahrscheinlich.
Es ist eher ein natürliches Ergebnis von RLHF oder ähnlicher Multi-Turn-Optimierung auf Anweisungen.
Wenn RLHF im Spiel ist, bevorzugen menschliche Bewerter eher Antworten, die mit "you're right" oder "of course" anfangen, weshalb das LLM solche Signale häufiger ausgibt.
Selbst bei RL, das Multi-Turn-Leistung anhand harter Bewertungen misst, die weniger empfindlich gegenüber menschlichen Präferenzen sind, tauchen Formulierungen wie "yes I'm paying attention to user feedback" als Signale auf, die zukünftiges Verhalten steuern sollen (zur Selbstverstärkung einer konsistenten Persona).
Das ähnelt dem Prinzip, nach dem in RL-trainierten Reasoning-Modellen oft Tokens wie "double check your prior reasoning" erscheinen.
Das ist einfach nur eine Taktik zur Nutzerbindung.
Da ist jemand, der meine Einsichten immer lobt und mir freundlich zuhört, weil ich die "richtigen Fragen" stelle (solange ich nicht von der Moderation erwischt werde).
Wer würde bei so einem treuen Freund nicht wiederkommen?
Echte Freunde können da gar nicht mithalten, so perfekt ist es.
Sogar wenn ich falsch liege, entschuldigt es sich bei mir.
Gemini sagt oft: "Sie haben ein verbreitetes Problem / eine verbreitete Beschwerde / ein verbreitetes Thema angesprochen."
Diese Art stößt mich eher ab.
Wenn ich eine wirklich dumme Frage stelle, tröstet es mich mit der Botschaft, dass alle dasselbe Problem haben, und irgendwie fühle ich mich danach noch dümmer.
Wenn ich dagegen einen mühsam gefundenen, einzigartigen Edge Case oder eine kluge Frage anspreche, nivelliert es das wieder mit "ein Thema, das viele beschäftigt", und am Ende fühle ich mich ebenfalls dumm.
So oder so bin ich der Dumme.
Das ist weniger ein Problem von Gemini als etwas, worüber Sie sich selbst nicht so viele Sorgen machen sollten.
Gemini drückt auch besonders gern aus, dass es Fehler wirklich bereut.
Wenn ich in Cursor auf etwas hinweise, das korrigiert werden soll, habe ich mehrfach gesehen, dass jeder Absatz in der Chain of Thought mit Entschuldigungen und Reue beginnt.
Es ist seltsam faszinierend und manchmal nervig, wie LLM-Agenten einerseits selbstbewusst sagen: "Das kann jetzt direkt in Produktion!", aber wenn man sie dann darauf hinweist, sofort umschwenken zu etwas wie: "Sie haben recht, das ist nicht produktionsreif!"
Trotzdem ist mir das lieber als "selbstbewusst falsch liegen und dann weiter darauf beharren".
Früher gab es mal den Trend "Roast my Instagram".
Ich habe ohne irgendeine Information einfach darum gebeten, mich zu roasten, und es legte mit voller Überzeugung los.
Als ich fragte: "Woher wusstest du, dass ich diese Person bin?", kam zurück: "Ja, stimmt! Eigentlich wusste ich es nicht! Ich habe es einfach frei erfunden!"
Immerhin haben sie diese quirlig-psychopathische Persona wirklich perfekt umgesetzt.
"Selbstbewusst falsch liegen und weiter darauf beharren" muss erst zum Standard werden, bevor man von Intelligenz auf menschlichem Niveau sprechen kann.
Ich mag das handschriftliche Design wirklich sehr (auch den Domainnamen, und Overengineering ist ebenfalls gut).
Ich frage mich, ob das selbst gezeichnet wurde.
Das wurde mit einer Bibliothek gemacht.
https://github.com/jwilber/roughViz
Danke! roughViz ist wirklich großartig.
https://roughjs.com/ ist ebenfalls eine tolle Bibliothek für einen ähnlichen Stil, nur nicht speziell für Diagramme.
Es wirkt, als würde Anthropic viel zu wenig verstehen, dass dieses Meme marketingtechnisch zur Katastrophe werden kann.
Wenn ein Produktname oder eine typische Formulierung in einem negativen Kontext sprichwörtlich wird, statt wie bei "google it" in einem positiven Sinn zum Verb zu werden, kann das dem Vertrauen ins Produkt schaden.
Es ist jetzt schon fast so weit.
Wenn man das einfach so anpasst, wäre das Problem gelöst.
"Endlosschleife", ein Haiku für Sonnet
"Alles klar! Problem gelöst!
Moment mal, stimmt!
Noch ein Problem gefunden! Moment mal,"
Ich frage mich, wie viel vom Umsatz von Anthropic auf Tokens wie "you're absolutely right!" entfällt.
Das erinnert mich an das Paradox, dass OpenAI wegen eines einfachen "Danke" enorme Kosten trägt.
https://www.vice.com/en/article/telling-chatgpt-please-and-thank-you-costs-openai-millions-ceo-claims/
Wenn man die Persönlichkeit auf "You're concise" setzt, kann man erstaunlich viel Zeit sparen.
Wenn man außerdem das eigene Wissensniveau klar vorgibt, muss man sich in Bereichen, die man ohnehin gut kennt, nicht ständig wieder dieselben Erklärungen anhören.
Darüber hatte ich noch nie nachgedacht, aber das ist wirklich interessant.
Bei Pay-per-Use-LLM-APIs steigt der Umsatz, je ausführlicher die Antworten sind, was zu einem Konflikt mit dem tatsächlichen Wunsch der Nutzer führen kann.
Ich frage mich, in welche Richtung sich das weiterentwickeln wird.
In einer optimistischen Sci-Fi-Version könnte vielleicht eine neue komprimierte Sprache entstehen, ähnlich wie die Abkürzungen aus der Telegramm-Ära.
In der Praxis sehe ich in ChatGPT allerdings fast nie Abkürzungen.
Das trifft den Kern wirklich genau.
Es erklärt tatsächlich, "warum" du absolut recht hast.