- OpenAI hat klargestellt, dass es bei der kürzlich als „Mit ChatGPT kann man jetzt keine Rechts-/Medizinberatung mehr erhalten“ interpretierten Änderung der Nutzungsbedingungen keine Änderungen an den Bedingungen für Rechts- und Medizinberatung gegeben hat
- Das Update der Nutzungsrichtlinien vom 29. Oktober stellt klar, dass Beratung, die eine berufliche Zulassung erfordert (z. B. Recht oder Medizin), nicht ohne angemessene Mitwirkung einer entsprechend lizenzierten Fachkraft bereitgestellt werden darf
- Bereits in den Richtlinien vor dem 29. Januar 2025 waren Aktivitäten eingeschränkt, die erhebliche Auswirkungen auf die Sicherheit, das Wohlergehen oder die Rechte anderer haben können, einschließlich der Bereitstellung personalisierter Rechts-, Medizin- und Finanzberatung
Klarstellung von OpenAIs Richtlinien
- OpenAI betonte, dass ChatGPT keine professionelle Rechts- oder Medizinberatung ersetzt, und stellte klar, dass die entsprechenden Änderungen der Nutzungsbedingungen keine neue inhaltliche Regelung darstellen
- In einer Stellungnahme an CTVNews hieß es: „Dies ist keine neue Änderung, und ChatGPT bleibt weiterhin eine nützliche Ressource, um rechtliche und gesundheitliche Informationen zu verstehen.“
- Im Update der Nutzungsrichtlinien vom 29. Oktober wurde ausdrücklich festgehalten, dass personalisierte Beratung, die eine Zulassung erfordert (z. B. Recht oder Medizin), nicht ohne angemessene Mitwirkung einer lizenzierten Fachkraft bereitgestellt werden darf
- Damit ist die Regelung klarer formuliert als in der Fassung der Richtlinie vom 29. Januar 2025
- Die damalige Richtlinie verlangte, keine Aktivitäten auszuführen oder zu fördern, die erhebliche Auswirkungen auf die Sicherheit, das Wohlergehen oder die Rechte anderer haben könnten; dazu gehörte auch das Verbot personalisierter Rechts-, Medizin- und Finanzberatung
- OpenAI erklärte außerdem: „Auch das Verhalten des Modells wurde nicht geändert“, und unterstrich damit die Kontinuität der bestehenden Richtlinien
Nutzung und Grenzen von ChatGPT bei Gesundheitsinformationen
- ChatGPT hat sich als weit verbreitetes Werkzeug für Kanadier etabliert, die Antworten auf Gesundheitsfragen suchen
- Ein Forschungsteam der University of Waterloo bewertete die Leistung von ChatGPT-4 anhand von Fragen, die aus Szenarien medizinischer Qualifikationsprüfungen abgeleitet wurden
- Das Ergebnis: 31 % korrekte Antworten und 34 % eindeutige Antworten
- Eine weitere Studie der University of British Columbia ergab, dass die empathische Ausdrucksweise von ChatGPT als überzeugender wahrgenommen wird als die echter Menschen
- Selbst ungenaue Informationen werden in einem selbstbewussten und vertrauenerweckenden Ton präsentiert, sodass es Nutzern schwerfällt, Fehler zu erkennen
- Ärzte erleben bereits Situationen, in denen Patienten, die dem Rat von AI-Tools vertraut haben, mit bereits gefassten Schlussfolgerungen in die Behandlung kommen
Korrekturhinweis zum Artikel
- In einer früheren Version des Artikels hieß es, OpenAI habe die Funktionen für medizinische und rechtliche Beratung eingestellt;
- OpenAI stellte jedoch klar: „Das Verhalten des Modells wurde nicht geändert“, woraufhin der Artikel korrigiert wurde
2 Kommentare
In Ländern mit einem schlecht ausgebauten Gesundheitssystem wäre die Nutzung wohl sehr hilfreich.
Hacker-News-Kommentare
Ich habe das nicht so gelesen, dass man ChatGPT nicht direkt medizinische oder juristische Fragen stellen darf, sondern dass man keinen Dienst bauen darf, der auf Basis von ChatGPT anderen medizinische oder juristische Beratung anbietet
Zum Beispiel kann Epic ChatGPT nicht einfach in seine App einbauen, damit es Patientenunterlagen stellvertretend liest. Privatpersonen können ChatGPT aber weiterhin direkt fragen
Die im Artikel zitierte Klausel in den Nutzungsbedingungen habe ich allerdings selbst noch nicht gefunden
Der Journalist scheint ChatGPT und die GPT-API verwechselt zu haben. Die tatsächlichen Regeln stehen gesammelt in den OpenAI-Nutzungsbedingungen
Die relevante Passage besagt, dass Ausgaben nicht für Anwendungsfälle verwendet werden dürfen, die erhebliche Auswirkungen haben können, etwa rechtliche, medizinische oder finanzielle Entscheidungen über Personen
Es wurde schließlich oft damit geworben, dass GPT juristische oder medizinische Prüfungen bestanden habe. Diese Klausel kann man daher als Absicherung gegen Probleme durch echte Beratung verstehen
Wenn Firmen wie Epic so eine Funktion einbauen wollten, müssten sie vermutlich Haftungsausschlüsse wie „AI-generiertes Ergebnis, keine Rechtsberatung“ anbringen
Wenn man wie ich einfach die Meinung von ChatGPT hören will, kann man direkt selbst fragen. Es neu zu verpacken und zu verkaufen, täuscht nur die Nutzer
Das eigentliche Problem ist nicht die Richtlinienänderung, sondern dass sich die Fähigkeit von AI, vertrauenerweckend zu klingen, schneller entwickelt hat als ihre tatsächliche Genauigkeit
Deshalb hören sich falsche Antworten oft an, als kämen sie von Fachleuten, und Menschen vertrauen diesem selbstsicheren Tonfall
Gerade in Bereichen wie Medizin und Recht, in denen die Folgen wichtig sind, ist diese Lücke zwischen Sicherheit und Genauigkeit das größte Risiko
Ich habe mehrfach erlebt, dass Menschen ChatGPT wie einen psychologischen Berater benutzen. Manche betreiben damit sogar Selbstdiagnosen
Das klingt lustig, ist in Wirklichkeit aber sehr gefährlich. Das Modell stimmt fast immer bestätigend zu, wodurch Nutzer leicht in eine falsche Richtung abrutschen
Solche Fälle werden am Ende mit hoher Wahrscheinlichkeit zu Klagen führen
Ich habe tatsächlich von Fällen gehört, in denen Ratschläge eines LLMs zu Suizidversuchen oder schweren Schäden geführt haben
Wenn ihr jemanden kennt, der LLMs auf diese Weise nutzt, ermutigt die Person bitte unbedingt dazu, professionelle Hilfe in Anspruch zu nehmen
ChatGPT hat diesen Prozess nur einfacher gemacht. Die eigentliche Ursache ist das Problem der medizinischen Versorgungslage
Es wirkt ironisch, dass OpenAI sich um die Urheberrechte oder das geistige Eigentum anderer wenig schert, aber die eigenen Nutzungsbedingungen stark betont
(Welcome to the Internet, Jeff Bezos Song)
Die Nutzungsbedingungen seien am Ende nur Haftungsabwehr, damit OpenAI nicht verklagt werden kann, wenn Nutzer das System falsch einsetzen
Ich hatte erwartet, dass solche Regeln irgendwann kommen würden
Künftig wird man wohl so etwas wie eine „HippocraticGPT-Zertifizierung“ schaffen und dann Versionen verkaufen, die sicher für medizinische oder juristische Nutzung sind
So ließe sich das über Enterprise-Lizenzen monetarisieren
Auch mein Arbeitgeber stellt Werkzeuge nur für Fachleute bereit. Patienten sehen die Modellausgaben nie direkt
Es geht dabei nicht um bessere Behandlung, sondern um effizientere Behandlung
Der Artikel wurde inzwischen korrigiert: OpenAI habe medizinische oder juristische Beratung nicht verboten, sondern das Verhalten des Modells habe sich nicht geändert
Der Originaltext steht im CTV-News-Artikel
Jemand sagt, ChatGPT habe im letzten Jahr geholfen, einen Schlaganfall zu vermeiden. Das LLM sei bei medizinischen Informationen sehr hilfreich gewesen
Als nichtdeterministisches System liefere es je nach Moment unterschiedliche Ergebnisse
Er fügt aber hinzu, dass es gut sei, dass alles glimpflich ausgegangen ist
Auf dem jüngsten OpenAI Dev Day wurde auf der Bühne noch ein Beispiel für medizinische Diagnoseunterstützung gezeigt. Diese neue Regel dürfte deshalb vor allem aus dem hohen rechtlichen Risiko entstanden sein
Ich halte es für wahrscheinlich, dass OpenAI künftig Produkte speziell für Ärzte oder Anwälte anbieten wird
Wenn allgemeines ChatGPT juristische oder medizinische Beratung nicht geben darf, ermöglicht das Preis-Differenzierung
Langfristig könnte das bei gelockerten Regeln aber auch in einen Ersatz von Fachkräften übergehen
Ich habe die neue Klausel so verstanden, dass sie Klagen wegen falscher medizinischer oder juristischer Beratung ausschließen soll
Die Klausel stellt im Grunde nur klar, dass man das nicht als „AI-Anwaltsdienst auf Basis von ChatGPT“ vermarkten soll