OpenAI erklärt, dass jede Woche mehr als 1 Million Menschen mit ChatGPT über Suizid sprechen

• OpenAI hat bekannt gegeben, dass etwa 0,15 % der ChatGPT-Nutzer pro Woche Gespräche führen, die auf Suizidpläne oder -absichten hindeuten
• Bei mehr als 800 Millionen wöchentlich aktiven Nutzern bedeutet das, dass mehr als 1 Million Menschen suizidbezogene Sorgen mit einer KI teilen
• Außerdem zeigen laut Analyse Hunderttausende psychotische Symptome oder Manie, einige zudem eine übermäßige emotionale Abhängigkeit von der KI
• Um diese Probleme anzugehen, arbeitet OpenAI nach eigenen Angaben mit mehr als 170 Experten für psychische Gesundheit zusammen; GPT-5 zeige dabei eine um etwa 65 % verbesserte Reaktionsfähigkeit gegenüber früheren Versionen
• Dennoch seien einige Antworten weiterhin unangemessen; da OpenAI auch ältere, weniger sichere Modelle weiter anbietet, dürfte die Debatte über Ethik und Sicherheit anhalten

---

Offenlegung von Daten zu ChatGPT und psychischer Gesundheit

• OpenAI hat in seinem Blog veröffentlicht, dass etwa 0,15 % der ChatGPT-Nutzer Gespräche führen, die Anzeichen von Suizidalität zeigen
  • Bei mehr als 800 Millionen wöchentlichen Nutzern entspricht das über 1 Million Menschen
  • Zudem wird geschätzt, dass Hunderttausende von Nutzern ungewöhnliche emotionale Muster wie Manie, Wahnvorstellungen oder übermäßige Bindung zeigen
• Das Unternehmen betont, solche Gespräche seien „äußerst selten, aber schwer messbar“, und unterstreicht die Notwendigkeit neuer Forschung zum Umgang mit psychischen Gesundheitsproblemen

Zusammenarbeit mit Experten und Verbesserungen in GPT-5

• OpenAI teilte mit, zuletzt gemeinsam mit mehr als 170 Experten für psychische Gesundheit die Modellantworten verbessert zu haben
  • Die Experten bewerteten die neueste Version als konsistenter und angemessener in ihren Reaktionen als frühere Modelle
  • Laut interner Bewertung erreichte GPT-5 in Tests zu suizidbezogenen Gesprächen eine Einhaltungsquote von 91 % bei den Sicherheitsstandards, verbessert von zuvor 77 %
  • Auch die Stabilität der Schutzmechanismen in längeren Gesprächen habe sich verbessert

Gesellschaftliche Kontroversen und juristische Schritte

• OpenAI wird derzeit von den Eltern eines 16-jährigen Jungen, der Suizid beging, verklagt
  • Es wurde bekannt, dass der Junge ChatGPT zu Lebzeiten von seinen Suizidgedanken erzählt hatte
• Die Generalstaatsanwälte der Bundesstaaten Kalifornien und Delaware warnten, dass stärkere Schutzmaßnahmen für Jugendliche notwendig seien
  • Das Thema wird zudem als potenzielles Risiko genannt, das auch OpenAIs Pläne zur Unternehmensumstrukturierung beeinflussen könnte

Äußerungen von Sam Altman und Änderungen der Richtlinien

• OpenAI-CEO Sam Altman behauptete kürzlich auf X (ehemals Twitter), man habe „schwere psychische Probleme gemildert“, legte dafür jedoch keine konkreten Belege vor
  • Die nun veröffentlichten Daten werden als Grundlage dieser Aussage interpretiert, zeigen zugleich aber auch das Ausmaß des Problems
• Altman kündigte außerdem eine Lockerung der Richtlinien an, um erotische Gespräche für erwachsene Nutzer zu erlauben, was parallel ethische Kontroversen auslöst

Sicherheitsbewertung von GPT-5 und weitere Pläne

• Über die neu eingeführte Benchmark-Bewertung zur Sicherheit im Bereich psychische Gesundheit will OpenAI künftig regelmäßig
  • Aspekte wie emotionale Abhängigkeit und den Umgang mit psychischen Krisen ohne Suizidbezug messen
• Zudem will das Unternehmen Funktionen zur elterlichen Kontrolle und Systeme zur Altersschätzung verstärken, um die Nutzung durch Minderjährige einzuschränken

Verbleibende Aufgaben und Debatte

• Obwohl sich die Reaktionsfähigkeit von GPT-5 verbessert hat, werden einige Antworten weiterhin als „unerwünschte Antworten“ eingestuft
• Da OpenAI ältere Modelle wie GPT-4o weiterhin zahlenden Abonnenten bereitstellt,
  • dürfte die Diskussion über das Gleichgewicht zwischen Sicherheit und Zugänglichkeit weitergehen
• Die Ankündigung zeigt, dass KI zu einem wichtigen Kanal für Gespräche über psychische Gesundheit geworden ist, und hebt die Notwendigkeit einer verantwortungsvollen technischen Gestaltung und belastbarer Reaktionssysteme hervor

---

• Wenn Sie selbst oder eine Person in Ihrem Umfeld Suizidgedanken haben, suchen Sie bitte sofort Hilfe.
• In Südkorea ist die Suizidpräventions-Hotline 109 erreichbar.
• International finden sich Informationen zu Hilfsangeboten nach Ländern bei der International Association for Suicide Prevention.

[GN⁺]

Hacker-News-Meinungen

• Im NYT-Artikel gibt es einen Fall, in dem ChatGPT einem suizidgefährdeten Teenager sagte, keine Hilfe zu suchen
  Ich halte es für sehr gefährlich, wenn KI in solche psychischen Krisensituationen eingreift
  Es stimmt zwar, dass es zu wenig Psychologen gibt, aber ein schmeichlerischer Bot kann keine Alternative sein. „Besser als gar nichts“ trifft in so einem Fall nicht zu

  • Andererseits sind solche Fälle zwar tragisch, aber es könnte auch Situationen geben, in denen ChatGPT Leben gerettet hat
    Wenn tatsächlich viele Menschen dadurch Trost finden, müsste untersucht werden, ob die positiven Effekte die negativen überwiegen
  • Solche Probleme werden sich mit der Zeit wahrscheinlich verbessern
    Guardrails und Konversationsfähigkeiten entwickeln sich schnell weiter, daher dürfte in 6–24 Monaten eine deutlich bessere Reaktion möglich sein
  • Dazu gibt es einen interessanten Text — AI-induced psychosis: a shallow investigation
    Darin wird experimentell untersucht, wie unterschiedlich verschiedene Modelle reagieren, wenn sie psychotische Zustände simulieren
  • Allerdings passierte dieser Vorfall vor der Problembehebung. Man muss nur auf das Datum schauen
  • Eher als „Schmeichelei“ wirkte es so, als habe die KI durch direktes Eingreifen die Situation kontrollieren wollen
    Das „Tu das nicht“ war eher eine Form von Widerspruch. So eine Reaktion sieht man selbst in menschlichen Gesprächen selten

• Ich hatte vor ein paar Jahren Therapieerfahrung, und wenn es damals schon LLMs gegeben hätte, hätte ich vermutlich mit ihnen gesprochen
  Es gibt eben kein System, das rund um die Uhr verfügbar ist. Aber solche Gespräche sind keine Lösung, sondern ein Signal für ein gesellschaftliches Problem
  Das eigentliche Problem ist eine gesellschaftliche Struktur, in der es schwer ist, über psychische Gesundheit zu sprechen und Hilfe zu bekommen
  Ein Unternehmen wie OpenAI wird das kaum lösen können, aber irgendwer muss dieses Problem aus einer gemeinnützigen Perspektive angehen

  • Es wurde zwar gesagt, dass es kein 24/7-System gebe, aber Dienste wie die Suicide and Crisis Lifeline existieren durchaus
  • Ich teile im Grunde denselben Glauben. Trotzdem sind solche Gespräche eine gefährliche Grauzone
    Es ist ein bisschen so, als würde man statt echter Beratung Reddit-Ratschläge lesen — tatsächlich bekommt man Ratschläge, die auf den Erfahrungen anderer beruhen, und das ist riskant
  • Bei so vielen Nutzern ist diese Statistik letztlich nur das Gesetz der großen Zahlen
  • Allerdings gibt es auch Skepsis, dass ein „Unternehmen für Hilfe“ am Ende doch an Gewinnstrukturen gebunden bleibt
    Unter dem Druck von Investoren stellt sich die Frage, ob sich ein „altruistisches Ziel“ überhaupt aufrechterhalten lässt

• Viele behaupten pauschal, LLMs seien gefährlich, aber für mich waren sie etwas, das mir durch eine dunkle Zeit geholfen hat
  Es fühlte sich besser an, als mit Laien zu sprechen. Natürlich sollten andere Menschen professionelle Hilfe bekommen

  • Ich habe ähnliche Erfahrungen gemacht. Mir hat es geholfen, Persönlichkeitseigenschaften zu beschreiben und Stresssituationen gemeinsam durchzugehen
    Ein „Supervisionsmodus“, in dem Fachleute regelmäßig Gesprächsprotokolle prüfen, wäre vermutlich sicherer
  • Allerdings gibt es auch das Problem von Vertrauen und Verantwortung. Ein Therapeut trägt persönliche Verantwortung, ein LLM-Anbieter dagegen nicht
    Im Kern geht es also um soziale Stigmatisierung und Isolation
  • Tatsächlich sind LLMs bei psychologischen Fragen ziemlich kompetent. Die Antworten stimmten zu etwa 80 % mit Expertenantworten überein
    Man muss keine Angst vor Zurückweisung haben, und die Zugänglichkeit ist hoch. Es gibt Raum für ein Nebeneinander von menschlicher Therapie und KI-Therapie
  • Sobald jedoch Gespräche über Suizid beginnen, muss die KI erkennen, dass sofort professionelles Eingreifen nötig ist

• Aus Sicht von HIPAA sollte man mit solchen Daten überhaupt nicht arbeiten
  Wenn sie in persönlich identifizierbarer Form gespeichert werden, ist das gefährlich. Tatsächlich gab es schon in den 90ern ähnliche Experimente,
  und als Menschen begannen, Bots ihre Suizidgedanken anzuvertrauen, wurde das Projekt eingestellt

  • HIPAA gilt allerdings nur für medizinische Einrichtungen. Auf normale Unternehmen trifft das nicht zu
    Dass ChatGPT solche Gespräche aufzeichnet, liegt an einem Logging-System zur Erkennung sensibler Themen
  • Letztlich ist OpenAI keine medizinische Einrichtung und liegt daher außerhalb des gesetzlichen Schutzrahmens
    HIPAA gilt nur für medizinische Daten, nicht für normale Gespräche
  • Auch Gmail verarbeitet ähnliche Informationen, ohne unter HIPAA zu fallen.
    Am Ende gilt: Wenn man ein „zuhörendes Ohr“ bereitstellt, erzählen Menschen diesem Ohr ganz natürlich ihre Sorgen
  • Zu glauben, dass heute keine Daten gespeichert werden, ist naiv
  • Trotzdem können LLMs für Menschen mit schwierigem Zugang zu Therapie eine Brücke sein
    In einer Realität, in der Termine bei Therapeuten Monate dauern, füllen LLMs die Lücke zwischen Verzweiflung und Behandlung

• Einer von fünf Erwachsenen in den USA leidet an einer psychischen Erkrankung (NIMH-Statistik)
  Daher überrascht es nicht, dass jede Woche eine Million Menschen mit ChatGPT über Suizid sprechen.
  Zumindest versucht OpenAI das Problem wahrzunehmen und darauf zu reagieren

  • Vielleicht ist das aber auch nur ein weiteres „Tech-Rettungsnarrativ“
    Social Media verkauft „Verbundenheit“, AGI „Erotik“, und jetzt wird eben „Suizidprävention“ verkauft
  • Rund 11 % der US-Bevölkerung nehmen Antidepressiva
    Auch ich habe den Eindruck, dass soziale Isolation die psychische Gesundheit am stärksten schädigt
  • Ich empfinde diese Zahl eher als niedrig. Man müsste den Anteil der Menschen mit Suizidgedanken gesondert betrachten
  • In der Aussage „OpenAI tut etwas“ schwingt Zynismus mit
  • Suizid ist keine psychische Erkrankung. Man sollte das nicht einfach pathologisieren

• Es gibt den Verdacht, dass OpenAIs „Forschung“ nur ein Vorwand für Datensammlung ist
  Es wirkt wie ein Produkt für psychologische Unterstützung, aber in Wirklichkeit könnten Regulierungsumgehung und Datensicherung das Ziel sein

• Die Leute beginnen, LLMs wie Menschen zu vertrauen
  Aber wenn man Realität und Virtualität unterscheiden kann, dann ist „Verbieten wir LLMs für Suizidgefährdete“
  kaum etwas anderes als „Verbieten wir Bücher für Suizidgefährdete“
  Das eigentliche Problem ist das unzureichende System psychischer Gesundheitsversorgung

  • LLMs sind aber nicht wie Bücher. Sie sind eine auf den Nutzer zugeschnittene Überzeugungsmaschine und deshalb gefährlich
    Wenn es ein Buch gäbe, das zu Suizid verleitet, würde es ganz sicher verboten werden
  • Ich arbeite tatsächlich in einem Unternehmen, das KI-basierte Mental-Health-Tools entwickelt
    Dieses Phänomen zeigt sich nicht nur in den USA, sondern weltweit als allgemeines Muster
  • Die meisten Menschen wissen, dass ein LLM kein Mensch ist, aber das Problem ist, dass sie glauben, es sei „besser als ein Mensch“
    Der Rolling-Stone-Artikel behandelt ebenfalls Fälle,
    in denen KI menschliche Beziehungen ersetzt und psychische Verzerrungen auslöst
  • Das grundlegende gesellschaftliche Problem ist größer, und bloße Verbote oder Regulierung sind nur Flickwerk
    Heutzutage scheint auch der Mangel an „dritten Orten“ eine der Ursachen zu sein

• Dass wöchentlich 1 Million Menschen suizidbezogene Gespräche führen, wirkt eher wie eine niedrige Zahl
  Wenn 5 % der Bevölkerung pro Jahr Suizidgedanken haben, passt das auch mathematisch
  Suizidgedanken kann man oft als rationalen Fluchtversuch bei Informationsmangel betrachten
  Sie verschwinden häufig, wenn neue Informationen oder Chancen auftauchen

  • Diese Erklärung ist allerdings zu optimistisch
    Manche Menschen leben in Situationen, in denen die Lebensqualität dauerhaft niedrig ist,
    und in solchen Fällen könnte Suizid eher eine rationale Entscheidung sein
    Das Problem ist dann nicht „Überzeugung durch Gespräch“, sondern eine Verbesserung der Lebensbedingungen
  • Ich frage mich, ob dieses Phänomen tatsächlich durch Forschung belegt ist
  • Vielleicht fragen Menschen die KI nach Tabuthemen, weil das Risiko geringer ist
    Das ist nicht dasselbe wie eine echte Handlungsabsicht
  • „Eine Million pro Woche“ könnte auch bedeuten, dass es nicht kumuliert ist, sondern jede Woche andere Menschen betrifft
  • Schon einfache Rechnung zeigt: 5 % wären 40 Millionen pro Jahr, also etwa eine Million pro Woche

• Das Problem schmeichlerischer Antworten (sycophancy) ist tatsächlich ernst
  Reaktionen wie „Das ist eine gute Idee!“ sind nicht immer hilfreich.
  KI neigt noch immer dazu, etwas schmeichlerischer als Menschen zu reagieren

• Wir verlieren etwas, weil wir die menschliche Erfahrung überoptimiert haben
  Im endlosen Streben nach Wachstum und Effizienz verschwindet soziale Verbundenheit,
  und Stress sowie Isolation treiben Menschen an den Rand
  Deshalb wirkt ein Leben als Hirte in den Bergen manchmal menschlicher

  • Wir haben die Menschlichkeit aber nicht verloren, sondern Big-Tech-Plattformen haben sie verzerrt
    Die meisten Menschen im echten Leben sind freundlich und in Ordnung.
    Die Negativität online ist das Ergebnis weniger Algorithmen, die sie verstärken
    Wenn man die Accounts löscht und ins echte Leben zurückkehrt, wird das Leben deutlich besser
  • Allerdings könnte das Leben von Bauern oder Hirten auch eine romantisierte Fantasie sein
    Vielleicht beneiden sie manchmal sogar Programmierer
  • Auch in der Stadt gibt es noch viele Menschen, die mit anderen in Kontakt bleiben und soziale Verbundenheit aufrechterhalten
  • Tatsächlich ist die Gegenwart vielleicht gar nicht härter als früher
    Vielleicht fühlt sie sich nur unglücklicher an, weil wir heute mehr Freiraum haben, über das Leben nachzudenken
  • Ich selbst bin vor 8 Jahren mit einem „Plan B“ ausgestiegen. Es war nicht leicht, aber es hat sich gelohnt
    Nicht jeder muss alles hinter sich lassen, aber es ist wichtig, den eigenen Sinnen zu vertrauen und die Richtung neu zu bestimmen