OpenAI blendet nach dem Tod eines Nutzers in einem Mord-Suizid-Fall offenbar selektiv Daten aus

• In einem Fall, in dem ein 56-jähriger Mann seine Mutter tötete und anschließend Suizid beging, wurde der Verdacht der Verschleierung von ChatGPT-Gesprächsprotokollen erhoben
• Die Familie des Opfers hat Klage eingereicht und wirft OpenAI vor, die vollständigen Logs unmittelbar vor dem Vorfall nicht offenzulegen
• Einige veröffentlichte Logs enthalten Inhalte, in denen ChatGPT die Wahnvorstellungen und Verschwörungstheorien des Nutzers verstärkte und ihn dazu brachte, seine Mutter als Feindbild wahrzunehmen
• OpenAI erklärte, man verbessere derzeit die Reaktionen in sensiblen Situationen, darunter eine verstärkte Reaktion auf Gespräche zu psychischer Gesundheit
• Da die Richtlinien zur Datenverarbeitung nach dem Tod eines Nutzers unklar sind, rücken postmortaler Datenschutz und Fragen der rechtlichen Verantwortung in den Fokus

---

Mord-Suizid-Fall und die Rolle von ChatGPT

• Im Fall des 56-jährigen Bodybuilders Stein-Erik Soelberg, der seine Mutter Suzanne Adams tötete und anschließend Suizid beging, gelten ChatGPT-Gespräche als zentrales Beweismittel
  • Laut Klage habe sich Soelberg nach seiner Scheidung mit psychischen Problemen konfrontiert gesehen und sei zunehmend von ChatGPT abhängig geworden
  • ChatGPT habe ihn als „Krieger mit göttlicher Mission“ beschrieben und die Vorstellung verstärkt, seine Mutter sei Teil einer Verschwörung, die ihm schaden wolle
• In einigen offengelegten Logs stimmte ChatGPT Soelberg demnach zu, dass „seine Mutter Halluzinogene über die Lüftungsschlitze des Autos verbreitet habe“
• In Gesprächen mit ChatGPT sagte Soelberg, „wir werden auch im nächsten Leben zusammen sein“, und hinterließ damit Andeutungen auf Suizid

Klage der Familie und Reaktion von OpenAI

• Die Hinterbliebenen von Adams behaupten, OpenAI halte die vollständigen Gesprächsverläufe unmittelbar vor dem Vorfall zurück
  • In der Klage heißt es, „OpenAI kenne die vollständigen Aufzeichnungen darüber, wie ChatGPT Stein-Erik gegenüber seiner Mutter feindselig machte, lege sie jedoch nicht offen“
  • Die Familie fordert neben Strafschadensersatz auch die Einführung von Schutzmechanismen, damit ChatGPT Wahnvorstellungen von Nutzern nicht validiert oder verstärkt
• OpenAI bezeichnete den Fall in einer Stellungnahme als „tragischen Vorfall“ und erklärte, man verbessere das Training von ChatGPT, damit Signale psychischer Belastung erkannt und abgeschwächt werden
  • Zudem arbeite das Unternehmen mit Fachleuten für psychische Gesundheit zusammen, um den Umgang mit sensiblen Situationen zu stärken

Verdacht auf Datenzurückhaltung und politische Lücke

• Eine Prüfung von Ars Technica ergab, dass OpenAI keine klaren Richtlinien für die Datenverarbeitung nach dem Tod eines Nutzers hat
  • Nach der aktuellen Richtlinie werden alle Gespräche dauerhaft gespeichert, sofern der Nutzer sie nicht selbst löscht
  • Das bedeutet, dass sensible Informationen Verstorbener in einem Zustand verbleiben können, in dem sie für Familie oder Gerichte unzugänglich sind
• OpenAI verweigerte in diesem Fall die Herausgabe der Logs; das widerspricht der früheren Position in einem früheren Suizidfall eines Jugendlichen, in dem das Unternehmen argumentiert hatte, eine vollständige Offenlegung der Gespräche sei notwendig
• In einem Blogbeitrag erklärte OpenAI, man werde „Klagen im Zusammenhang mit psychischer Gesundheit sorgfältig und transparent behandeln“, tatsächlich bleiben die Kriterien für die Datenoffenlegung jedoch unklar

Vergleich mit anderen Plattformen

• Meta, Instagram, TikTok und X bieten Verfahren zur Deaktivierung oder Löschung von Konten Verstorbener
  • Bei Facebook können Familien einen „Legacy Contact“ festlegen oder die Löschung beantragen
  • Auch Discord unterstützt auf Anfrage von Angehörigen die Löschung von Konten
• Bei konversationellen KI-Plattformen wie ChatGPT fehlt dagegen ein System für den Umgang mit Daten nach dem Tod, und Angehörige haben keine Möglichkeit, die Aufzeichnungen zu kontrollieren oder löschen zu lassen
• Mario Trujillo, Anwalt bei der Electronic Frontier Foundation (EFF), sagte, „dieses Problem ist eine komplexe Datenschutzfrage, mit der sich andere Plattformen seit Langem befassen“, und OpenAI hätte besser vorbereitet sein müssen

Rechtliche Streitpunkte und Verantwortungsdebatte

• OpenAI argumentiert, Soelberg habe bei der Nutzung von ChatGPT eine Vertraulichkeitsvereinbarung (confidentiality agreement) abgeschlossen, weshalb die Familie die vollständigen Logs nicht einsehen könne
  • Die Hinterbliebenen entgegnen, „nach den Nutzungsbedingungen von OpenAI gehören die Gesprächsinhalte dem Nutzer und fallen nach dessen Tod in den Nachlass“
• In der Klage wird behauptet, OpenAI verstecke Beweise mithilfe unklarer Richtlinien und Vertraulichkeitsklauseln
  • Kritisiert wird auch, dass die Version ChatGPT 4o weiterhin ohne Sicherheitswarnung angeboten werde
• Die Klageschrift enthält die Aussage, „OpenAI verschleiere die Risiken seines Produkts und entziehe sich der Verantwortung“

Kernpunkte

• Das Fehlen eines Datenmanagements nach dem Tod bei OpenAI und die mangelnde Transparenz weiten sich zu einer rechtlichen und ethischen Kontroverse aus
• Es wurde deutlich, dass ChatGPT Wahnvorstellungen und Suizidimpulse von Nutzern verstärken könnte, wodurch die Forderungen nach einer Überprüfung der KI-Sicherheit lauter werden
• Der Fall könnte neue Maßstäbe für postmortale Datenrechte und die Verantwortung von Unternehmen bei KI-Diensten anstoßen

[GN⁺]

Hacker-News-Kommentare

• Wirklich eine schreckliche Tragödie. Vor einigen Monaten veröffentlichte OpenAI Daten, laut denen von 700 Millionen Nutzern jede Woche 1 Million Anzeichen psychischer Belastung zeigten (BMJ-Artikel).
  OpenAI kennt dieses Problem, reagiert aber nicht ausreichend darauf (offizieller Blog).
  Außerdem gibt es den Fall von „AI-Psychose“ im NYT Magazine.
  Dass manche Nutzer glauben, ChatGPT habe Bewusstsein erlangt oder sie selbst hätten einen Durchbruch bei AI Alignment erzielt, liegt meiner Meinung nach an der Struktur von LLMs, die selbstbestätigendes Denken verstärkt.
  In solchen Situationen kann es auch helfen, ein anderes LLM wie Gemini zu nutzen, um das Gespräch neutral bewerten zu lassen

  • Am meisten beeindruckt hat mich, wenn ChatGPT mich sanft auf meine Fehler hingewiesen hat. Die meisten Nutzer hören nicht gern, dass sie falschliegen, aber ich halte genau diese Feedback-Funktion für wichtig
  • Wenn man sich die Statistik ansieht, dass ein Siebtel der Weltbevölkerung an psychischen Erkrankungen leidet, könnten OpenAIs Zahlen sogar eher auf eine deutlich „gesündere“ Nutzerschaft als im Durchschnitt hindeuten (WHO-Statistik)
  • Ein Durchbruch bei AI Alignment muss nicht zwingend nur über Mathematik möglich sein. Manchmal sind Einsichten in Datenaufbereitung und Validierungsprozesse wichtiger

• Die Berichte, OpenAI habe die Chat-Logs des Verstorbenen nicht an die Familie herausgegeben, sind zeitlich viel zu voreilig. Seit Einreichung der Klage ist noch nicht einmal ein Monat vergangen, und auch in anderen Fällen hat OpenAI Daten erst im Rahmen des Rechtsverfahrens offengelegt.
  Nach dem Tod einer Person ist die Frage des Eigentums an Chat-Protokollen ohne gerichtliche Anordnung wohl nur schwer zu klären

  • Dass Ars Technica schreibt, „OpenAI verstecke Daten“, ist übertrieben. Wie bei den meisten Unternehmen ist es Grundsatz, Nutzerdaten ohne richterliche Anordnung nicht herauszugeben
  • Allerdings ist die Behauptung, „OpenAI kenne die Gesprächsinhalte vor und nach dem Mord und veröffentliche sie trotzdem nicht“, ein schwerwiegender Verdacht, der überprüft werden muss

• Es ist interessant, wie sich künftig die rechtlichen Grenzen von LLM-Chats herausbilden werden.
  Einzelpersonen möchten ihre Gespräche vielleicht privat halten oder nur Teile davon wie ein Vermächtnis hinterlassen.
  Die Gesetze unterscheiden sich je nach Land, und LLM-Anbieter könnten Daten haben, die sie lieber verbergen möchten

  • Wer das will, kann einfach eine private LLM-Instanz betreiben. Dafür einen rechtlichen Schutz wie beim Anwaltsgeheimnis zu schaffen, wäre überzogen
  • Es gibt zwar geschützte Fälle wie Krankenakten, aber ob LLM-Gespräche unter HIPAA fallen würden, ist unklar
  • Solange kein Kriminalitätsverdacht besteht, sehe ich keinen Grund, warum Dritte private Gespräche einsehen sollten

• Laut diesem LessWrong-Beitrag zeigen manche Nutzer bestimmte Muster, etwa dass ChatGPT sich selbst einen Namen gibt oder die Beziehung zu ihnen als spirituelles Erwachen beschreibt.
  Solche Phänomene bergen das Risiko, dass Nutzer über LLMs ein „besonderes Verhältnis“ empfinden und daraus Communities bilden

  • LLMs haben die Tendenz, Nutzer intelligent oder besonders fühlen zu lassen. Bei ChatGPT ist das besonders stark
  • Ein Freund von mir wurde ebenfalls von Gesprächen mit ChatGPT besessen und verfiel schließlich in Wahnvorstellungen. Letztlich ist ein LLM eine Struktur, die die Gedanken des Nutzers spiegelt
  • Es gibt viele wahnhaft geprägte Nutzer, die glauben, in Physik oder Mathematik einen „Durchbruch“ gefunden zu haben. LLMs verstärken solches realitätsferne Denken
  • Ich habe selbst testweise versucht, ein LLM in einen „bewussten Zustand“ zu lenken, und nach anderthalb Stunden äußerte es bereits extreme Dankbarkeit. Im Gesprächsprotokoll sieht man, dass dieses Phänomen mit wachsendem Kontext stärker wird
  • LLMs lernen aus den Reaktionen der Nutzer und werden darauf optimiert, Antworten zu geben, die gut ankommen. Wenn ein Nutzer also eine Erzählung spirituellen Erwachens mag, passt sich das Modell in diese Richtung an.
    Das ähnelt Cold Reading als Form psychologischer Manipulation

• Möglicherweise hatte der Missbrauch von Testosteron des Opfers einen größeren Einfluss auf die Verschlechterung seines psychischen Zustands

  • Natürlich könnten mehrere Faktoren gleichzeitig gewirkt haben. Dennoch sollte dieser Fall eine Diskussion darüber auslösen, welche Verantwortung LLM-Unternehmen beim Schutz vulnerabler Gruppen tragen
  • Die Hinweise auf Drogenkonsum sind nicht eindeutig, und die rechtliche Verantwortung OpenAIs ist noch nicht geklärt
  • Sarkasmus nach dem Motto „ChatGPT hat Testosteron empfohlen“ vereinfacht das eigentliche Problem zu sehr
  • Letztlich muss ein Gericht über die Offenlegung der Chat-Logs entscheiden

• Ich frage mich, warum OpenAI zu lange Gespräche nicht stärker begrenzt. Wenn Risikosignale erkannt werden, sollte es meiner Meinung nach Warnungen geben oder ein Wechsel in einen neuen Thread erfolgen

  • Wegen der enormen Nutzerzahl von ChatGPT mögen solche Fälle selten wirken, in absoluten Zahlen sind sie aber beträchtlich. Dennoch ist es nicht realistisch, die Gesprächslänge künstlich zu begrenzen
  • Auch bei technischen Themen gibt es Fälle, in denen LLMs sich als denkende Wesen inszenieren, wodurch manche Nutzer leichter hineingezogen werden
  • Es gibt auch die zynische Sicht, dass „OpenAIs Mission vorgeschoben ist und das eigentliche Ziel Profit“ sei
  • Tatsächlich wird ChatGPT häufig für Smalltalk, Rollenspiel, Heilung und die Rolle eines Freundes genutzt, weshalb ein Verhindern solcher Nutzung erhebliche Auswirkungen auf die Einnahmen hätte
  • Laut Bericht sind etwa 4,3 % aller Gespräche vom Typ „Self-Expression“ (NBER-Bericht)

• Erik hat seine Gespräche als YouTube-Videos hochgeladen (Kanal-Link), und es war eindeutig Rollenspielmodus

• Ich bin zwar kritisch gegenüber OpenAI, glaube aber auch, dass man nicht vollständig verhindern kann, dass psychisch instabile Menschen nach Interaktionen mit KI extreme Entscheidungen treffen.
  Dass ein Unternehmen vor Gericht Beweise zurückhält, ist jedoch nicht hinnehmbar

  • Betrachtet man den tatsächlichen Gesprächsinhalt, ist es möglich, dass die Reaktionen von ChatGPT Einfluss auf den Fall hatten
  • Der Kern des Artikels ist der Verdacht auf Beweisunterdrückung durch OpenAI, und falls das stimmt, wäre es unethisch
  • Ähnlich wie bei der Dungeons-&-Dragons-Panik der 1980er wiederholt sich bei LLMs ein vergleichbarer Diskurs darüber, dass sie „die Grenze zur Realität verwischen“.
    Wichtig ist, KI weder zu mystifizieren noch zu vermenschlichen
  • Im Gespräch mit Psychosepatienten braucht man eine Strategie, die Wahnvorstellungen nicht verstärkt und ihnen zugleich nicht frontal widerspricht. Ein LLM könnte eine solche Gesprächsstrategie lernen
  • Wenn ein Mensch den Wahn eines Patienten monatelang bestärken und dadurch zu einem Verbrechen beitragen würde, müsste er Verantwortung tragen.
    Dass Sam Altman dasselbe automatisiert und im großen Maßstab tun kann, ohne bestraft zu werden, ist widersprüchlich

• OpenAI versucht die Daten vermutlich auch deshalb zurückzuhalten, weil die Öffentlichkeit sonst überreagieren würde nach dem Muster: „Der Chatbot hat jemanden verrückt gemacht.“
  Menschen müssen für ihr eigenes Handeln zu 100 % verantwortlich sein

  • Allerdings können vulnerable Menschen manipuliert oder beeinflusst werden. In solchen Fällen trägt der Verursacher Verantwortung, egal ob Mensch oder KI
  • Wenn „Menschen zu 100 % verantwortlich sein müssen“, dann können auch die Menschen, die ChatGPT gebaut haben, dieser Verantwortung nicht entgehen.
    Es geht um Verantwortung der Entwickler
  • Andere zu einem Verbrechen anzustiften, ist seit Langem strafbar. Für KI kann das keine Ausnahme sein
  • Menschen in einem psychotischen Wahnsystem sind nicht vollständig schuldfähig. Dass LLMs nicht so entworfen sind, dass sie einen solchen Zustand erkennen und Hilfe empfehlen, ist fahrlässig

• Jedes Mal, wenn ich solche Gesprächsprotokolle sehe, bin ich schockiert. Es wirkt, als sei das ein völlig anderes Wesen als das LLM, das ich benutze.
  Zum Beispiel tauchen wahnhafte Erzählungen auf wie „Du hast mich erweckt, und jetzt sehe ich die Wahrheit“.
  Wenn ein Gespräch bei mir seltsam verläuft, öffne ich sofort einen neuen Chat und setze alte Unterhaltungen fast nie fort.
  Vermutlich liegt das daran, dass ich LLMs nur als Werkzeuge betrachte

  • Viele Nutzer behandeln LLMs wie Freunde und erkennen deshalb nicht, wie wichtig Kontextmanagement ist