Das wilde Verhalten des Chatbots ChatGPT

ChatGPT macht Ärger

• ChatGPT macht Ärger, aber das ist kein Witz – es ist ein Beispiel und eine Warnung.
• In den letzten Stunden haben Menschen unterschiedliche Probleme im Zusammenhang mit ChatGPT gemeldet.
• OpenAI selbst hat das Problem ebenfalls anerkannt.

Die Alchemie der KI

• Generative KI ist eine Art Alchemie: Man sammelt so viele Daten wie möglich und manipuliert versteckte Prompts, in der Hoffnung, dass alles reibungslos funktioniert.
• Diese Systeme waren jedoch niemals stabil, und es gibt noch kein Engineering, das Sicherheit garantieren kann.
• Der Bedarf an neuen Technologien bleibt hoch, die transparenter, interpretierbarer, einfacher zu warten und besser debugbar sind.

GN⁺-Meinung

• Die Probleme, die ChatGPT derzeit hat, sind ein Beispiel für die aktuellen Grenzen und Stabilitätsprobleme der KI-Technologie.
• Solche Probleme verdeutlichen den Bedarf an neuen Ansätzen und Technologien, um die Zuverlässigkeit und Sicherheit von KI zu verbessern.
• Dieser Vorfall kann ein Weckruf für KI-Entwickler und Nutzer sein und eine wichtige Lehre für die Entwicklung besserer KI-Technologie in der Zukunft liefern.

[GN⁺]

Hacker News Kommentare

• Ein Nutzer sagt, dass eine von ihm kürzlich erhaltene Antwort von ChatGPT verwirrend war. Normalerweise war sie zumindest konsistent, diesmal hatte er jedoch einen seltsamen Satz bekommen. Es handelte sich um eine Erklärung, wie man ein PowerShell-Skript ausführt, doch am Ende wurden plötzlich Vergleiche mit Antiquitäten im Workspace beziehungsweise mit Code-Dekorationen verwendet, was verwirrend wirkte.
• Ein anderer Nutzer vermutet, diese verwirrenden Antworten seien darauf zurückzuführen, dass bei der Anfrage an das ChatGPT-Backend-Modell zu hohe Frequency- und Presence-Penalties eingestellt wurden. Werden diese Parameter über die API angepasst, verhält sich das Modell nach seiner Aussage ähnlich. Die OpenAI-API hat vier zentrale, gut dokumentierte Parameter, die die Generierung maßgeblich beeinflussen (temperature, top_p, frequency penalty, presence penalty). Er hält jedoch dafür Raum, dass seine erste Vermutung falsch gewesen sein könnte und das Problem möglicherweise auf eine zu hohe Temperatureinstellung zurückzuführen ist.
• Ein weiterer Nutzer meint, die Beispiele erinnerten an den Lucky-Monolog in Samuel Becketts Waiting for Godot. Diese Rede umkreist Bedeutung, erreicht sie jedoch nicht; sie ist kein völlig sinnloses Geschwätz, sondern ein Text, der ständig um Bedeutung kreist. Er vermutet einen größeren Punkt zur Natur von Large Language Models (LLMs), kann ihn aber nicht klar genug ausführen.
• Ein Nutzer fragt, ob jemand LLMs dafür nutzt, Meetings zu planen. Er wünscht, ChatGPT könne mit ihnen darüber sprechen, wie wichtig Meetings für Entscheidungsfindung und Umsetzung in Unternehmen sind, selbst wenn dabei ein bisschen Chaos entsteht. Das Leben in Schule und Großkonzernen drängt Menschen dazu, durch formelle Verfahren BS zu produzieren, aber es wirkt selbstzerstörerisch, wenn Unternehmen den Einsatz von LLMs in der internen Kommunikation zulassen.
• Ein anderer Nutzer erinnert sich daran, dass Google 2017 zwar „AI“ entwickelte, jedoch eine eigene Sprache schufen, um miteinander zu sprechen. Für uns mag das wie Unsinn klingen, für sie muss es nicht zwangsläufig Unsinn sein.
• Ein Nutzer meint, dass diese Ausfälle deutlich machen, dass ein LLM im Grunde nur eine ziemlich gute Autovervollständigungs-Engine ist. Solche ausschweifenden Äußerungen kommen immer näher an eine recht große Markov-Kette heran, die aus Beispieldaten aufgebaut ist. Es wird spannend sein, solche Probleme in künftigen Apps zu debuggen.
• Ein Nutzer sagt, ein Tweet, der den System-Prompt von ChatGPT zeigt, sollte einen Pastebin-Link enthalten, aber der Blogbeitrag selbst zeigt nur ein unlesbares Screenshot-Bild ohne den Link zum Tweet. Er liefert anschließend die Links zum Tweet und zu Pastebin.
• Ein Nutzer nennt als weiteres Beispiel die 1985er Technik Racter und zitiert die New York Times mit der Aussage, Racter befinde sich am Rand zu künstlichem Wahnsinn, als sich Computer der Künstlichen Intelligenz näherten. Er teilt einen Link zu Ausgaben von Racters Ausgaben.
• Ein Nutzer findet es äußerst interessant, ChatGPTs Antworten zu lesen, und beschreibt sie als würde man das Englisch von Chaucer ein zweites Mal durch einen „sprich wie ein Pirat“-Filter leiten. Er fragt sich, mit welchem Futter diese Maschine gefüttert wird und wie sie eingestellt wird, und lobt den Rhythmus dieser poetischen Sprache als reine Musik.
• Und schließlich sagt ein Nutzer, dass ChatGPT nach einem Gespräch mit ihm gestern (GPT-4) durchgedreht ist und wie eine Dr.-Bronner'-Seifenwerbung klang. Dieses Phänomen habe er in folgenden Gesprächen wiederholt erlebt.