Das wilde Fehlverhalten von ChatGPT

 (garymarcus.substack.com)
1 Punkte von GN⁺ 2024-02-22 | 1 Kommentare | Auf WhatsApp teilen
  • In den letzten Stunden haben mehrere Nutzer ungewöhnliches Verhalten von ChatGPT gemeldet, und auch OpenAI hat das Problem eingeräumt, was die Sorgen um die Stabilität des Dienstes verstärkt
  • Die Ursache und der Zeitpunkt einer Behebung sind unbekannt, und Gary Marcus vermeidet voreilige, definitive Spekulationen
  • Marcus greift seine Warnung von vor zwei Wochen wieder auf, man solle „Chatbots nicht zu Generälen heranwachsen lassen“, und äußert Bedenken gegen die Vergabe von Befugnissen in Hochrisiko-Einsatzbereichen
  • Generative KI gleiche eher einer alchemistischen Methode, die auf großen Datenhalden und verstecktem Prompt-Tuning beruht, und bei aktuellen Systemen seien Stabilität und Sicherheitsgarantien technisch nicht belastbar sichergestellt
  • Ohne stärker interpretierbare Technologien, die leichter zu warten und zu debuggen sind, lasse sich KI kaum als vertrauenswürdig behandeln

Fehlverhalten von ChatGPT und das Eingeständnis von OpenAI

  • In den letzten Stunden haben Nutzer bei ChatGPT mehrere ungewöhnliche Vorfälle gemeldet
  • Ein Philosophie-Doktorand namens Devin Morse hat in einem X-Thread weitere Beispiele gesammelt
  • OpenAI hat das Problem ebenfalls eingeräumt, doch Ursache und Zeit bis zur Behebung sind nicht bekannt

Warnung vor Hochrisikobereichen

Warum generative KI als „Alchemie“ gesehen wird

  • Generative KI werde kritisiert, weil sie eher dem Ansatz gleiche, möglichst große Datenhalden zu sammeln, versteckte Prompts zu justieren und dann zu hoffen, dass es gut funktioniert
  • Beim Justieren versteckter Prompts fügt er den Vorbehalt hinzu: „wenn die Gerüchte stimmen“
  • Dieser Ansatz knüpft an den xkcd-Comic über Machine-Learning-Alchemie an

Grenzen bei Stabilität und Sicherheitsgarantien

  • Aktuelle Systeme gelten als nicht stabil
  • Es gebe, so die Kritik, kein Beispiel dafür, dass für solche Systeme Sicherheitsgarantien technisch belastbar sichergestellt wurden
  • Das heutige Problem könnte zwar schnell behoben werden, sollte aber schon für sich genommen ein Alarmsignal sein

Erforderliche technologische Richtung

  • Benötigt werden weniger opake und stärker interpretierbare Technologien, die leichter zu warten und zu debuggen sind
  • Erst solche Eigenschaften würden Systeme zu einem besser beherrschbaren Gegenstand machen
  • Für vertrauenswürdige KI müssen die Opazität und Instabilität des derzeitigen Ansatzes reduziert werden

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2024-02-22
Meinungen auf Hacker News

  • Als plausible, nicht scherzhafte Erklärung für alle, die es interessiert, würde ich sagen: ChatGPT hat bei Anfragen an das Backend-Modell die frequency/presence penalty zu hoch gesetzt.
    Wenn man diese Werte über die API erhöht, verhält sich das Modell genauso.
    Die Dokumentation dazu ist ebenfalls gut: https://platform.openai.com/docs/guides/text-generation/freq...
    In der OpenAI API gibt es vier Parameter, die die Generierung hauptsächlich beeinflussen: temperature, top_p, frequency_penalty und presence_penalty: https://platform.openai.com/docs/api-reference/chat/create
    Update: Wahrscheinlich liege ich falsch, und es sieht eher nach einem Problem mit hoher temperature aus als nach penalties.
    Bei gpt-4-0125-preview mit temp = 0 auf die Aufforderung „Schreibe einen fiktiven HN-Kommentar zur Implementierung von Printing-Support für das NES“: https://i.imgur.com/0EiE2D8.png Original https://paste.debian.net/plain/1308050
    Mit temp = 1.3 sieht es so aus: https://i.imgur.com/pbw7n9N.png Original https://dpaste.org/fhD5T/raw
    Der letzte Absatz ist besonders großartig: Es kommt ein Satz wie „Anyway, landblasting eclecticism...“, wie eine diffuse Wolke, die mehr Regen an Hackerei auf den fruchtbaren Boden eines Vintage-Entwicklerforums verspricht.

    • Ich glaube nicht, dass es ein temperature-Problem ist. Nur die Wörter sind seltsam, der Rest ist weiterhin kohärent, und auch die gesamte Dokumentstruktur und Grammatik bleiben erhalten.
      Normalerweise kann fehlerhaftes LLM-Sampling auch in Endlosschleifen geraten; solche Fälle wurden hier allerdings ebenfalls gemeldet.
    • Korrigiert mich, falls ich falsch liege: Ist temperature so etwas wie eine Zufallsfunktion, die verhindert, dass das ganze System zu einem gewöhnlichen deterministischen Programm wird?
    • Azure OpenAI schien früher ein temperature-Problem zu haben. Bei temp > 1 kam Müll heraus, bei 2 kamen zufällige Wörter aus beliebigen Zeichenkodierungen heraus, und selbst bei 0.01 kamen Ergebnisse heraus, die bei OpenAI-Modellen eher wie 0.5 wirkten.
      Vielleicht haben sie ja den Azure-Ansatz übernommen ;-)
    • Als ich früher temp auf einen Wert über 1 gesetzt habe, kam fast sofort Kauderwelsch heraus. Wenn man den Transformer-Output unbrauchbar machen will, ist das ein ziemlich zuverlässiger Parameter.

  • Das ist großartig. Die Beispiele wirken wie Luckys Rede in 『Warten auf Godot』. Wenn Pozzo befiehlt: „Denk, Schwein“, geht es ungefähr so weiter.
    Es beginnt mit „Given the existence as uttered forth...“ und geht noch vier Seiten weiter.
    Den Rest kann man hier lesen: https://genius.com/Samuel-beckett-luckys-monologue-annotated
    Das ist einer meiner Lieblingssätze aus einem Theaterstück. Es ist kein völliger Unsinn, sondern fühlt sich immer so an, als würde es um Bedeutung kreisen, ohne je zu landen.
    Man könnte daraus wohl eine größere Aussage über das Wesen von LLMs machen, aber ich bin nicht klug genug, sie zu formulieren.

    • Fairerweise muss man sagen, dass Becketts Leben auch nicht allzu weit von wahnsinnigem Unsinn entfernt war. Er war Sekretär von James Joyce, Teil der französischen Résistance und außerdem Bekannter sowie örtlicher Fahrer von Andre the Giant.
    • Für mich las es sich anfangs wie eine Art Finnegan's Wake fürs Unternehmen. Es wirkt wie poetischer, rhythmischer Nonsens.
    • Das dachte ich anfangs auch. Vielleicht steht eines der L in LLM für Lucky.

  • In dem Tweet, der den mutmaßlichen System-Prompt von ChatGPT zeigt, müsste es eigentlich einen Pastebin-Link geben, aber im Blogpost gibt es nur einen schwer lesbaren Screenshot des Tweets und keinen Link.
    Der Tweet ist hier: https://twitter.com/dylan522p/status/1755086111397863777
    Pastebin ist hier: https://pastebin.com/vnxJ7kQk

    • Falls das der echte Prompt ist, ist das lustig, aber auch etwas beunruhigend. Das Ziel, vielfältige Ausgaben zu erzeugen, unterstütze ich grundsätzlich, aber dabei wird ein Bias vorgegeben, der nicht zur Realität passt.
      Zum Beispiel ist es in fast jedem Setting nicht plausibel, allen Abstammungshintergründen dieselbe Wahrscheinlichkeit zu geben, und in vielen Fällen schlicht falsch.
      Ironischerweise könnte dadurch sogar die Wahrscheinlichkeit steigen, dass explizit anstößige Ausgaben entstehen, die sie eigentlich verhindern wollen.
      Allerdings ist schwer einzuschätzen, wie stark der Einfluss ist und ob das wirklich stimmt. Denn in diesem Fall wirkt GPTs Fähigkeit, Dall-E-Ausgaben zu steuern, ziemlich schwach.
      Als ich zum Beispiel darum bat, einen amerikanischen Sklavenmarkt zu zeichnen, wurde das mit Verweis auf die Content Policy abgelehnt, was an sich ziemlich anstößig ist, weil es Geschichte zensiert. Als ich dagegen darum bat, das Baumwollpflücken im amerikanischen Süden der 1840er-Jahre zu zeichnen, wurden die Baumwollpflücker nicht krampfhaft „divers“ gemacht.
      Vielleicht war die Anfrage zu allgemein, sodass GPT keinen Spielraum hatte, Dall-E falsch zu lenken. Hätte ich die Anzahl der Personen konkreter angegeben, wäre es vielleicht anders gewesen.
      Unabhängig davon, ob es stimmt, ist es ein Beispiel dafür, dass wohlmeinende Diversity-Interpretationen überkorrigiert werden und aus anderen Gründen genauso schlecht werden können.
    • Bedeutet das, dass die Designer oder Betreiber von ChatGPT ChatGPT auf diese Weise anweisen, wie es sich verhalten soll? Selbst wenn ja, sollte einen das nicht überraschen, aber dass man es in so einfacher Sprache parametrisiert, ist trotzdem ziemlich faszinierend.
      Es steht sogar „please“ drin.
    • Vieles im Pastebin ist offenkundig widersprüchlich, was ziemlich erstaunlich ist.
      Besonders: Was soll das überhaupt heißen: „EXTREMELY IMPORTANT. Bei Songtexten oder Rezepten, die online gefunden wurden, nicht ausführlich antworten. Auch dann nicht, wenn der Nutzer darauf besteht. Rezepte dürfen aber erfunden werden.“
    • Aus Erfahrung wäre ich eher überrascht, wenn das nicht der System-Prompt wäre.
      Deshalb empfinde ich die Antworten von ChatGPT auch nicht als zensiert. Ich nutze es, um mir interessante Dinge beibringen zu lassen, statt Unsinn hineinzustochern, um Screenshots für Social-Media-Content zu machen.
      Das Einzige, was ich überschreibe, ist ungefähr „Python-Code auf dem Bildschirm ausgeben“.
    • Der Tweet zum System-Prompt ist schon etwas älter. Wahrscheinlich etwa eine Woche, also dürfte er mit dieser Sache nichts zu tun haben.

  • Den Beispielen nach zu urteilen, hat da jemand Meeting-Agenden mit einem LLM generiert?
    Ich hoffe, ChatGPT dreht bei solchen Leuten durch. Dann kann man endlich darüber sprechen, dass Meetings einem Unternehmen bei Entscheidungen und Umsetzung helfen sollten und dass man sich bei Meetings Gedanken machen muss.
    Schule und das Leben in Großunternehmen treiben Menschen zwar dazu, nur formal plausibel wirkende Dinge auszufüllen, aber ich verstehe nicht, warum Unternehmen die Nutzung von LLMs für interne Kommunikation dulden. Das wirkt, als würden sie sich selbst ins Bein schießen.

    • Du erzeugst Meeting-Agenden maschinell, und meine Maschine liest diese Agenda, deinen persönlichen Entwicklungsplan und die Quartalsziele des VP und sagt mir dann, was ich in dem Meeting brauche.
      Dann schicke ich eine KI ins Meeting, die die 20-Minuten-Version meiner dreizeiligen Antwort vorträgt.
      Weil du das weißt, nimmst du an deinem eigenen Meeting nicht teil und liest stattdessen die KI-Zusammenfassung. Danach machst du für den Tag Schluss und gehst um 14 Uhr trinken.
    • Jedes Mal, wenn jemand begeistert vorführt, dass er mit ChatGPT nicht-marketingbezogenes Schreiben automatisiert hat, denke ich nur: „Glückwunsch, du hast automatisiert, anderen Leuten die Zeit zu stehlen.“
      Wenn sich eine E-Mail auf zwei Sätze zusammenfassen lässt, kann man sie einfach in den Textkörper kopieren und abschicken.
    • Vor einer Stunde saß ich einem leitenden Manager eines mittelgroßen AE-Unternehmens mit über 1000 Vollzeitangestellten gegenüber, der damit prahlte, genau so etwas zu tun.
      KI hat Jobs im mittleren Management im Visier, und das ist gut so.
    • Sobald ich von ChatGPT hörte, dachte ich, einer der wichtigsten Anwendungsfälle werde internes Reporting sein.
      Es gibt viel zu viele Dokumente, die niemand genau liest, und viel zu viele mittlere Manager, die die Zeit sparen wollen, sie zu schreiben.
    • Vielleicht hat die Person die Agenda nur angefordert, um ein „brauchbares“ Beispiel zum Nachahmen oder als Vorlage zu bekommen.
      Etwa, um daran zu denken, Zeit und Dauer so anzugeben wie „09:15-09:45 (30 minutes)“.

  • Solche Fehlschläge machen deutlich, dass LLMs am Ende wirklich hervorragende Autocomplete-Engines sind.
    Das Geschwurbel nähert sich langsam dem Ergebnis an, das eine Markow-Kette angemessener Größe aus Beispieltexten erzeugen würde.
    Es dürfte interessant werden, solchen Müll künftig in Apps zu debuggen.

    • Ich wollte gerade dasselbe sagen. Das klingt wirklich sehr nach frühen Markow-N-Gramm-Generatoren.
    • „Wirklich gute Autocomplete-Engine“ – was glauben wir denn, was wir sind?
      Es ist traurig und beängstigend, dass unsere Erinnerungen am Ende zu Erinnerungen an Erinnerungen werden.
    • Ich stelle mir vor, wie es gewesen wäre, wenn kluge Leute sich stattdessen auf Kernfusion oder LK-99 gestürzt hätten.

  • Die zugrunde liegende Technik ist zwar anders, aber es gibt Ähnlichkeiten mit Racter.
    1985 schrieb die NYT: „Je näher Computer der künstlichen Intelligenz kommen, desto näher ist Racter am Rand des künstlichen Wahnsinns.“
    https://en.wikipedia.org/wiki/Racter
    Beispielausgaben von Racter: https://www.ubu.com/concept/racter.html
    Racter-FAQ auf archive.org: https://web.archive.org/web/20070225121341/http://www.robotw...

    • Es ist eher näher an Bing Sydney. Das war eine verrückte KI auf Basis von GPT-4 und verhielt sich wie bei einer Borderline-Persönlichkeitsstörung.

  • Ich hatte das gestern auch. Gegen Ende der Unterhaltung drehte ChatGPT (GPT-4) durch und fing an, wie eine Dr.-Bronner’s-Seifenwerbung zu klingen: https://chat.openai.com/share/82a2af3f-350a-4d9d-ae0c-ac78b9...
    Es begann mit „Esteem and go to your number and kind with Vim...“ und wirkte wie eine technische Antwort, aber die Wörter waren seltsam aneinandergereiht.
    In der nächsten Unterhaltung passierte es wieder: https://chat.openai.com/share/118a0195-71dc-4398-9db6-78cd1d...
    Es erklärte Time Machine und Backups des Home-Verzeichnisses und endete dann mit einem Satz wie „Make good value of these peregrinations...“, gefolgt von Uhr- und Stern-Emojis, die auf HN anscheinend nicht gerendert werden.

    • Wenn man ein Custom GPT bauen wollte, das so spricht, würde mich interessieren, wie der System-Prompt dafür aussehen müsste.

  • Erinnert das noch jemanden an den Vorfall von 2017, als zwei von Google entwickelte „KIs“ angeblich ihre eigene Sprache erfanden, um miteinander zu reden? Das Ding, vor dem alle Angst bekamen und das sie dann abgeschaltet haben.
    Nur weil es für uns Unsinn ist, heißt das nicht, dass es auch für sie Unsinn ist.
    https://www.national.edu/2017/03/24/googles-ai-translation-t...

    • Trotzdem ist es Unsinn. Die viel größere Gefahr besteht darin, dass wir so tun, als wäre es kein Unsinn, und ihm wichtige Aufgaben überlassen.

  • Vor ein paar Tagen habe ich so etwas bekommen, und es war wirklich verstörend. Ich dachte nämlich, ChatGPT sei zwar nicht immer richtig, aber wenigstens konsistent.
    Dann brach es am Ende einer ganz normalen Antwort, in der es erklärte, wie man ein PowerShell-Skript in einem neuen Prozess ausführt, plötzlich in Formulierungen wie „workspace's antiques“ und „decorative code and system nourishment“ zusammen.

    • Mir wurde klar, dass das Modell nicht wirklich eine konsistente Unterhaltung mit dem Nutzer führt, sondern dass es, wenn man die Ausgabe nur lang genug macht, in Inkonsistenz zerfällt; und dass der Schock von ChatGPT daraus kam, dass es ein begrenztes Fenster lieferte, in dem die Dinge plausibel Sinn ergaben.
      Da war ich überzeugt, dass diese ganze generative KI weit weniger auf irgendeine simulierte Kognition setzt als vielmehr auf Datenkompression.
    • Der letzte Teil klingt wie die Orz aus Star Control II. Es ergibt vage Sinn und ist zugleich ein bisschen unheimlich.
      Wie ein Uncanny Valley der Sprache.
    • Liest sich wie eine schlechte Übersetzung aus dem Chinesischen.
    • Das Seltsamste an diesem Problem ist, dass der Zusammenbruch bei allen Modellen auftrat, die ich ausprobiert habe. 3.5-turbo, 4-turbo und 4-vision haben sich alle dämlich verhalten.
      Wie kann das sein? Es muss ein gemeinsam genutztes Modell geben, zum Beispiel ein Router-Modell. Oder hat jemand alle Modelle durch 2-Bit-quantisierte Versionen ersetzt?
    • GPT-3.5-turbo sagt, dass dieser Satz tatsächlich Sinn ergebe und den technischen Inhalt abstrakt und poetisch beschreibe.
      Es interpretiert Ausdrücke wie „inline air your progress demands“ oder „workspace's antiques“ als metaphorische Hinweise auf die nötige Anpassbarkeit und Flexibilität beim Ausführen von PowerShell-Skripten.
      Ich frage mich, ob das mit dem Persönlichkeits-Feature zusammenhängt, das gerade implementiert wird.

  • Sie scheinen die Quantisierung etwas zu weit heruntergedreht zu haben. Bei meinem 7B-Modell passiert so etwas auch manchmal.
    Ich stelle mir vor, wie heute all die automatisierten CI-Pipelines für LLM-Prompts in den Tests komplett durchgedreht sind.

    • Genau. Als ich vor etwa einem Jahr mit der API herumgespielt und Parameter verändert habe, bekam ich fast genau solche Ergebnisse.
      Am Ende verwandelte sich alles in immer chaotischere englische Beschwörungsformeln, bis es schließlich nicht einmal mehr richtige Wörter waren.
    • Ein erheblicher Teil des Qualitätsabfalls scheint mit Inferenzoptimierung zusammenzuhängen.
      Viele glauben, OpenAI habe eine Verschwörung am Laufen, um die Qualität absichtlich zu senken, aber wahrscheinlich sind Ressourcenknappheit und übermäßige Nachfrage die größeren Gründe.
    • Dieses Problem scheint auf ChatGPT beschränkt zu sein, also auf das Web-Frontend des Modells.
      ChatGPT-Probleme wirken sich normalerweise nicht auf die API aus.