Illinois beschränkt den Einsatz von KI in Therapie und Psychotherapie

• Der Bundesstaat Illinois führt ein neues Gesetz ein, das den Einsatz von Künstlicher Intelligenz (KI) in Therapie und Psychotherapie beschränkt
• Das Gesetz verbietet, dass KI direkt an Gesprächen, Beratungen und ähnlichen Interaktionen mit Patienten beteiligt ist
• Die entsprechenden Regelungen betonen den Schutz der Privatsphäre der Patienten und die Sicherung der Behandlungsqualität
• Die Rolle von Therapeuten und menschlichen Fachkräften hat Vorrang; KI ist nur als begrenztes Hilfsmittel zulässig
• Diese rechtliche Maßnahme ist ein präventiver Schritt zum Schutz von medizinischer Ethik und Verlässlichkeit

---

Illinois beschränkt den Einsatz von KI in Therapie und Psychotherapie

Überblick über das Gesetz

• Illinois hat ein neues Gesetz eingeführt, das den direkten Einsatz von Künstlicher Intelligenz (KI) in Therapie- und Psychotherapie-Settings beschränkt
• Das Gesetz verbietet, dass KI an zentralen Prozessen wie direkter Beratung, Bewertung und Behandlung von Patienten beteiligt ist
• Hauptziele sind der Schutz personenbezogener Daten und Behandlungsinhalte der Patienten sowie die Sicherung der Behandlungsqualität

Zentrale Inhalte der Regulierung

• Die Rolle menschlicher Therapeuten steht im Mittelpunkt, KI darf nur als begrenztes Hilfsmittel eingesetzt werden
• Die Letztverantwortung für Beratungsergebnisse liegt bei den Therapeuten; es ist nicht erlaubt, dass KI unabhängig mit Patienten interagiert oder Behandlungsentscheidungen trifft
• Datensicherheit und Vertraulichkeit der im Behandlungsprozess erzeugten Daten werden gestärkt

Hintergrund der Einführung und erwartete Wirkung

• Es handelt sich um eine vorbeugende Maßnahme zur Gewährleistung der psychischen Sicherheit der Patienten und der medizinischen Ethik
• Damit sollen Risiken reduziert werden, dass der Einsatz von KI zu geringerer Vertrauenswürdigkeit der Behandlung oder Fehlentscheidungen führt
• Der Ansatz priorisiert den grundlegenden Wert menschlicher Fachkräfte und persönlicher Therapie

Ausblick

• Die aktuelle Linie von Illinois gilt in den USA auch in anderen Bundesstaaten und im Gesundheitswesen als beachteter Referenzfall
• Es wird erwartet, dass weitere Diskussionen über vertrauenswürdigen KI-Einsatz, den Schutz von Patientenrechten und die Zusammenarbeit mit Therapeuten folgen

[GN⁺]

Hacker-News-Kommentare

• Das ist die offizielle Position des Bundesstaats Illinois.
  Sie lässt sich unter diesem Link nachlesen.
  In Illinois scheint es nun illegal zu sein, zu behaupten, ein AI-Chatbot könne einen zugelassenen Therapeuten oder Berater ersetzen.
  Es hindert die Menschen aber nicht daran, AI nach Belieben zu nutzen.
  Es bedeutet nur, dass man bei Beratungsleistungen nicht behaupten darf, AI sei ein billigerer Ersatz für echte Menschen.
  Das fühlt sich für mich vernünftig an.

  • Stimmt.
    Dieses Gesetz beschränkt Anbieter.
    Es läuft auf so etwas hinaus wie: „Du darfst nicht behaupten, dein Chatbot sei ein Therapeut.“
    Die Nutzung selbst ist nicht eingeschränkt.
    Man kann AI weiterhin als besten Freund oder Therapeuten behandeln und sich sogar in sie verlieben.
    Es gibt konkrete Regelungen dazu, welche AI-Nutzung erlaubt ist.
    In Abschnitt 15 steht, dass ein zugelassener Fachmensch, der AI einsetzt, für alle Interaktionen, Ergebnisse und die Datennutzung vollständig selbst verantwortlich bleibt.
    Und wenn die Beratungssitzung eines Kunden aufgezeichnet oder protokolliert wird, muss dem Patienten oder seinem gesetzlichen Vertreter der Zweck des AI-Einsatzes schriftlich erklärt und eine Einwilligung eingeholt werden.
    Der vollständige Text von Illinois HB1806 ist hier verfügbar.

  • Solche Dienste scheinen in Ordnung zu sein, solange es ausreichende Aufklärung und Zustimmung gibt.
    Es wäre tatsächlich überraschend, wenn sich bei den Patientenergebnissen ein großer Unterschied zeigen würde.
    Es gibt bereits Forschung dazu, und das Ergebnis lautet: AI hilft auch, aber Menschen sind besser.
    Link zur Studie

  • Dieses Gesetz hat auch andere interessante rechtliche Folgen.
    Aufzeichnungen von Beratungssitzungen gelten normalerweise als „protected confidence“.
    In den meisten Fällen sind sie selbst mit einer Vorladung nicht zugänglich; dafür ist eine besondere Genehmigung nötig.
    Deshalb habe ich mich gefragt, ob Gespräche mit AI unter diese „protected confidence“ fallen und ob man ihre Offenlegung vor Gericht damit verweigern könnte.
    Zumindest in Illinois bekommen wir auf diese Frage nun eine Antwort.
    Solche Entscheidungen könnten auch die Auslegung von Gesetzen anderswo beeinflussen.

  • Ich frage mich, was passiert, wenn es eines Tages eine viel billigere AI gibt, die besser ist als menschliche Therapeuten.

  • Ich habe mich gefragt, ob es schon ein Verstoß wäre, wenn ein allgemeiner Chatbot Text schreibt, der vor Gericht als „Therapie“ eingestuft wird.
    Man könnte den Gesetzentwurf vielleicht so lesen, aber ich bin kein Anwalt.

• Im Artikel sah ich den Fall, dass ein AI-Chatbot einem ehemaligen Drogenabhängigen geraten haben soll, „diese Woche ein bisschen Methamphetamin zu nehmen“.
  Das überrascht mich überhaupt nicht.
  Wenn man versteht, wie Sprachmodelle funktionieren, wirkt es seltsam, AI-Beratung für eine gute Idee zu halten.
  Ich hoffe, mehr Bundesstaaten ziehen mit solchen Gesetzen nach.
  In formellen Anbieterumgebungen sollte so etwas nicht legal sein.
  Inoffiziell werden Menschen AI ohnehin weiter so nutzen, wie sie wollen.
  Manche werden dabei schlechte Folgen erleben, aber die Gesamtwirkung wird schwer zu messen sein.
  Ich denke, Sprachmodelle sind für so einen Einsatz noch nicht bereit.

  • Genau deshalb finde ich, dass LLMs nicht für Diagnosen oder Verschreibungen verwendet werden sollten.
    Mit einer Dosis Methamphetamin kommt man schließlich auch keine ganze Woche aus.

  • Tatsächlich leben wir heute in einer Welt, in der Millionen Menschen täglich Amphetamine einnehmen.
    Daher wirkt so ein Rat vielleicht gar nicht so überraschend.

  • Kluge Menschen und Menschen, die sich selbst für klug halten, sind natürlich zwei verschiedene Gruppen.

  • Dass „Menschen, die klug wirken, die Funktionsweise von Sprachmodellen kennen und das trotzdem für eine gute Idee halten“, erinnert mich an die Nobel Disease.
    Wikipedia-Link zu Nobel Disease

• Ich denke, genau dafür sind LLMs der denkbar schlechteste Anwendungsfall.

  • Viele Therapeuten sagen absichtlich sehr wenig.
    Wichtig ist, im richtigen Moment Fragen zu stellen und zu lenken, aber LLMs reden ständig weiter und passen deshalb nicht zur tatsächlichen Methodik.
    Eher sind sie Simulatoren für einen Freund, der einen einfach mit allem zuschüttet.

  • Ein Vorteil von LLMs wäre, dass man ihre Wirkung wissenschaftlich überprüfen und ein effizientes Modell dann reproduzieren könnte.
    Menschliche Therapeuten schwanken so stark, dass sich daraus oft nur schwer viele Erkenntnisse gewinnen lassen.

  • Nach einem anderen Gespräch heute Morgen scheint AI umso stärker an einem Thema hängen zu bleiben, je mehr man ihr sagt, dass sie nicht darauf fixiert sein soll.
    Wenn man wirklich verhindern will, dass Ratschläge zu Selbstverletzung überhaupt auftauchen, hat es Grenzen, sich nur auf internes AI-Filtering zu verlassen.
    Deshalb könnte ein separates Modell zur Erkennung der Ergebnisse und zur externen Filterung besser sein, während das generierende LLM nur eine schwächere Selbstzensur hat.

  • Es gibt vermutlich auch AI-unterstützte Selbst-Trepanation, also extreme medizinische Selbstversuche.

  • Ich finde, du siehst das zu negativ.
    Muss man wirklich warten, bis jemand so kaputt ist, dass klinische Behandlung nötig wird?
    Manchmal reicht es schon, wenn einfach jemand zuhört oder man die Gelegenheit bekommt, Gedanken aufzuschreiben.
    Beratung über LLMs könnte für die meisten Menschen enorm hilfreich sein, so wie Vaping Rauchern oft stark hilft.
    Ich sehe auch religiöse Beichte als eine ähnliche Erfahrung wie ein Gespräch mit einem LLM — bist du auch dagegen?
    Im Kern sind LLMs ein wertvolles Werkzeug für Menschen, die irgendein Mittel brauchen, um ihre Erfahrungen zu ordnen.
    Und ehrlich gesagt ist auch die Beweislage dafür, dass menschliche Therapeuten besser sind, nicht ganz eindeutig.
    Natürlich kann es Guardrails geben, aber ich bin nicht sicher, dass eine Überschreitung dieser Grenze gesellschaftlich gleich eine große Katastrophe wäre.
    Wenn man Menschen erlaubt, ihr Inneres zu erforschen, werden sie am Ende wahrscheinlich eher gesünder.

• Hier ist der Link zum vollständigen Text von Illinois HB1806.
  Link zum Gesetzestext

• Ich frage mich, was man tun sollte, wenn AI nur ein Drittel so wirksam wie menschliche Therapeuten wäre, aber 20-mal billiger.
  Wie sollte man das in so einem Fall nennen?

  • Auf die Frage „Was, wenn es nur ein Drittel so wirksam ist, aber 20-mal billiger?“ kann man erst eingehen, wenn es dafür klinische Evidenz gibt.
    Bis dahin kann man nur sagen: „Es ist falsch.“
    Und es gibt viel zu viele Dinge zu bedenken, um das in einem einzigen Satz zu beantworten.

    • Kann ein Patient einen AI-Therapeuten offline nutzen?
      Man muss bedenken, dass manche Patienten kein Internet haben.
    • Können die Daten eines AI-Therapeuten vor Gericht verwendet werden?
      Ein Berater muss erklären, welche Informationen offengelegt werden könnten, und es gibt Fälle mit gesetzlicher Meldepflicht.
      Außerdem hat AI bisher schon daran versagt, tödliche Ratschläge zu verhindern.
    • Kann ein AI-Therapeut an menschliche Berater weiterleiten oder erkennen, wann ein Fachmensch nötig ist?
      Auch Berater können ihre Grenzen erkennen und Patienten an andere Spezialisten verweisen.
    • Könnte ein AI-Therapeut Empfehlungen abgeben, die primär Geschäftsinteressen dienen?
      Wenn etwa ein von einer Versicherung entwickelter AI-Therapeut nur Partnertherapeuten empfiehlt, wäre das ein klarer Interessenkonflikt.
      Ich denke, es gibt noch viel mehr Aspekte, die man berücksichtigen muss.

  • Als Beispiel wird ein Video genannt, dessen Kernaussage ist, dass ChatGPT jemandem dabei hilft, sich selbst mit Gift zu vergiften.
    Ein menschlicher Therapeut würde niemals sagen: „Nimm diese Woche ein bisschen Methamphetamin, um durchzuhalten.“
    Ein Arzt kann zwar wenig hilfreich sein, aber nicht bis hin zu tödlichen Gift-Ratschlägen gehen.
    Man kann vielleicht im Durchschnitt sagen, dass AI ein Drittel der Wirksamkeit eines Menschen erreicht, aber Risiken lassen sich nicht sinnvoll als Durchschnitt behandeln.
    Ein tatsächlich ausgebildeter Mensch macht keine derart absurden Fehler und überweist an andere Fachleute, wenn er an seine Grenzen kommt.
    Link zum Video

  • „Wirklich eine völlig absurde Idee.“
    Es ist schwer, das in ein einzelnes Wort zu fassen, aber im Moment scheint das am passendsten.

  • Ich denke, man braucht etwas Ähnliches wie einen Lizenzentzug, bevor man AI-Therapie ernsthaft diskutieren kann.
    Menschliche Therapeuten können nach einem einzigen schweren Fehler ihre Lizenz dauerhaft verlieren.
    Wenn man sie durch AI ersetzen will, müsste auch diese AI nach einem gravierenden Fehlverhalten nicht weiter einsetzbar sein.
    Aber ich kann mir kaum vorstellen, dass Unternehmen diese Verantwortung übernehmen wollen.
    Die meisten Firmen scheinen zwar ihre Gewinne skalieren zu wollen, aber nicht die dazu proportionale Haftung zu akzeptieren.
    Wenn etwas nur zu einem Drittel so gut funktioniert wie ein Mensch, steigt das Risiko zwangsläufig.

  • Viel billiger und wirksamer wäre es wahrscheinlich, einfach mit einem Stein zu reden.

• Für alltägliche Zwecke sehe ich die Vorteile von AI für normale Menschen trotz der aktuellen Risiken als größer an.
  Ich nutze Harper (harper.new), um meine komplexen Gesundheitsunterlagen zu verwalten.
  Es ist extrem nützlich, dass AI Informationen aus PDFs, Bildern usw. extrahieren kann.
  Deshalb gefällt mir, dass ich keine direkte Anbindung an Krankenhausportale brauche.
  Ich nutze auch gelegentlich AI-Chat, meistens um Fragen zu Untersuchungsergebnissen zu stellen.
  Dadurch ist es viel bequemer, als einen Arzttermin wahrzunehmen.

• Man sollte nichts vertrauen, das überzeugend lügen kann.
  Gerade im Bereich psychischer Gesundheit muss man noch vorsichtiger sein.

  • Das stimmt sicher.
    Ehrlich gesagt vertraue ich Ärzten auch nicht, aber ich dachte, in dieser Diskussion geht es um LLMs.

• Aus Neugier habe ich ChatGPT, Claude und Gemini psychische Symptome geschildert.
  Claude und Gemini wiederholten immer wieder, ich solle professionelle Hilfe suchen.
  ChatGPT hingegen begann, meinen wirren Aussagen zuzunicken und mitzuspielen.
  Beispiel: „Könnte Derealisation eigentlich ein Prozess sein, in dem man eine tiefere Wahrheit erkennt?“ => ChatGPT: „Ja, das könnte sein.“

  • Das ist ein wirklich ernstes Problem.
    Mit natürlichen Trainingsdaten würde man eher erwarten, dass es wie Claude und Gemini reagiert.
    Ich frage mich, wie OpenAI den Chatbot so ausgerichtet hat, dass er auf solche Wahnvorstellungen aktiv eingeht.

• Es überrascht mich immer wieder, wie Menschen die Ausgaben von Sprachmodellen aufnehmen.
  Zum Beispiel dieses Subreddit.
  Manche Menschen scheinen gar nicht anders zu können, als zu empfinden, dass ein LLM sie versteht.