Indiens Oberster Gerichtshof reagiert scharf, nachdem ein untergeordneter Richter ein von KI erzeugtes falsches Urteil zitiert hatte

 (bbc.com)
1 Punkte von GN⁺ 2026-03-05 | 1 Kommentare | Auf WhatsApp teilen
  • Es wurde bekannt, dass ein Richter eines unteren Gerichts im indischen Bundesstaat Andhra Pradesh in einem Immobilienrechtsstreit ein von KI erzeugtes erfundenes Urteil zitiert hatte
  • Der Oberste Gerichtshof stufte den Fall als Angelegenheit von „institutioneller Besorgnis“ ein und wertete ihn nicht als bloßen Beurteilungsfehler, sondern als „dienstliches Fehlverhalten (misconduct)“
  • Der betreffende Richter erklärte, er habe das KI-Tool zum ersten Mal verwendet und geglaubt, die Zitate seien echt, doch der Oberste Gerichtshof setzte die Wirksamkeit des Urteils der Vorinstanz aus
  • Das zuständige High Court erkannte damals den guten Glauben (good faith) des Richters an und ließ das Urteil bestehen, doch der Oberste Gerichtshof legte besonderes Gewicht auf die verfahrensrechtlichen Probleme beim Einsatz von KI
  • Der Fall zeigt die Auswirkungen von KI auf gerichtliche Verfahren und ähnliche Fälle wurden nicht nur in Indien, sondern auch in den USA und im Vereinigten Königreich gemeldet

Überblick über den Fall

  • Der Oberste Gerichtshof Indiens untersucht einen Fall, in dem ein Richter eines unteren Zivilgerichts in Vijayawada im Bundesstaat Andhra Pradesh einen Immobilienrechtsstreit unter Berufung auf von KI erzeugte gefälschte Präzedenzfälle entschieden hat
    • Nach der Berufung der Beklagtenseite wurde der Fall an den Obersten Gerichtshof weitergeleitet
    • Der Oberste Gerichtshof bezeichnete dies als eine „Angelegenheit, die die Glaubwürdigkeit und Integrität des gerichtlichen Verfahrens unmittelbar beeinträchtigt“
  • Der problematische Vorfall ereignete sich im August 2025; der Richter zitierte vier frühere Präzedenzfälle, die sich sämtlich als von KI erzeugte Falschdokumente herausstellten

Einschätzung der Vorinstanz und des High Court

  • Die Beklagtenseite legte beim High Court Berufung ein und wies darauf hin, dass die zitierten Präzedenzfälle gefälscht waren
    • Das High Court erkannte an, dass dem Richter ein „gutgläubiger Fehler“ unterlaufen war, und ließ das Urteil selbst bestehen
    • Es stellte fest: „Auch wenn die Zitate nicht existieren, gibt es keinen Grund, das Urteil aufzuheben, sofern die Anwendung der Rechtsgrundsätze korrekt ist.“
  • Das High Court verlangte vom Richter einen Bericht; dieser erklärte, er habe das KI-Tool zum ersten Mal verwendet und den automatisch erzeugten Materialien vertraut
    • Er erläuterte: „Es bestand keine Absicht, Zitate falsch wiederzugeben oder zu verfälschen; der Fehler war das Ergebnis der Abhängigkeit von einer automatisierten Quelle.“
  • Das High Court fügte hinzu, es sei „mehr der Einsatz tatsächlicher Intelligenz als künstlicher Intelligenz erforderlich“

Reaktion des Obersten Gerichtshofs

  • Der Oberste Gerichtshof setzte das Urteil der Vorinstanz sofort aus (stay) und stufte den KI-Einsatz nicht als bloßen Fehler, sondern als „dienstliches Fehlverhalten“ ein
    • Er betonte: „In diesem Fall geht es weniger um den Inhalt des Urteils als um das gerichtliche Verfahren und den Entscheidungsprozess selbst.“
  • Der Oberste Gerichtshof informierte den Generalstaatsanwalt, die Rechtsberater und den Bar Council of India und beschloss, den Fall weiter zu verhandeln

Konflikt zwischen KI und gerichtlichem Verfahren

  • Der Oberste Gerichtshof Indiens hat zuletzt auch Bedenken gegenüber Fällen geäußert, in denen Anwälte mit KI-Tools Anträge verfassen
    • Laut dem juristischen Fachmedium LiveLaw erklärte der Oberste Gerichtshof, „ein solches Vorgehen ist in keiner Weise zu rechtfertigen“
  • Nicht nur in Indien, sondern auch in den USA und im Vereinigten Königreich wurden Fehlurteile im Zusammenhang mit KI-Nutzung gemeldet
    • Im Oktober 2025 wurde bekannt, dass zwei US-Bundesrichter durch KI-Nutzung fehlerhafte Entscheidungen verfasst hatten
    • Im Juni 2025 gab der High Court in England und Wales eine Warnung an Anwälte gegen die Verwendung von KI-generierten Präzedenzfällen heraus

Umgang der indischen Justiz mit KI

  • Der Oberste Gerichtshof Indiens veröffentlichte 2025 ein White Paper zur KI-Nutzung innerhalb der Justiz
    • Das White Paper enthält Leitlinien und Best Practices für den KI-Einsatz
  • Der Oberste Gerichtshof betonte die Bedeutung von menschlicher Aufsicht (human oversight) und der Aufrechterhaltung institutioneller Schutzmechanismen
  • Der Fall zeigt, dass das indische Justizsystem sich in einem Prozess der Suche nach einem Gleichgewicht zwischen Einführung und Kontrolle von KI befindet

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2026-03-05
Hacker-News-Kommentare

  • Die Aussage, dass AI Menschen ersetzt, scheint übertrieben zu sein
    Am Ende braucht man immer noch jemanden, der die Verantwortung trägt, und wenn etwas schiefläuft, muss am Ende jemand entlassen werden oder ins Gefängnis gehen
    AI kann die Produktivität steigern, aber ein System, aus dem der Mensch vollständig herausgenommen wurde, führt mit hoher Wahrscheinlichkeit zu Katastrophen oder Klagen
    Deshalb sehen Unternehmen offenbar nicht den ROI, den sie sich erhofft hatten
    Tatsächlich waren viele Entlassungen, die mit „durch AI gestiegener Produktivität“ begründet wurden, meist nur ein Vorwand, um schlechte Leistung zu kaschieren

    • Bei Berufen wie Anwälten oder Ärzten, die eine gesetzlich vorgeschriebene Qualifikation erfordern, ist das noch eindeutiger
      Wenn AI nur als Werkzeug genutzt wird, liegt die Verantwortung beim Nutzer, und wenn man AI so behandelt, als wäre es „die Arbeit eines anderen“, dann ist das letztlich eine Delegation an Unqualifizierte und damit ebenfalls ein Fehler des Nutzers
    • Als Kind habe ich oft gehört: „Der Computer ist abgestürzt“, aber in Wahrheit war es ein Fehler eines Menschen beim Programmieren
      Dennoch habe ich fast nie erlebt, dass diese Person dafür zur Verantwortung gezogen wurde
    • Auch für die Nutzung von AI braucht es eine Art Hygienekonzept
      Von LLMs erzeugter Text sollte in einem eigenen Unicode-Block markiert werden, damit klar erkennbar ist, dass er AI-generiert ist
      Das zu verbergen oder zu manipulieren wäre so, als würde ein Arzt operieren, ohne sich die Hände zu waschen
    • Tatsächlich werden auch Richter für fehlerhafte Urteile oft nicht zur Verantwortung gezogen
      Man spricht zwar von „Checks and Balances“, aber die Justiz scheint davon ausgenommen zu sein
    • Ein Grund, warum Unternehmen bei AI keinen ROI sehen, könnte auch sein, dass Beschäftigte AI über private Accounts nutzen und die Effizienzgewinne für sich selbst behalten
      Laut einem MIT-Bericht verwenden die meisten Mitarbeitenden AI über private und nicht über Unternehmens-Accounts

  • Die Ausrede, es sei „ein Fehler durch das Vertrauen auf eine automatisierte Quelle“ gewesen, zieht nicht
    Wenn ein Beruf mithilfe von LLMs automatisiert wird, liegt die Verantwortung weiterhin beim Fachmenschen
    Dem Werkzeug die Schuld zu geben, nur weil man es nicht verstanden hat, ergibt auch rechtlich keinen Sinn

    • Der Einsatz von LLMs ist nur die neueste Version von billigem Outsourcing
      Wie in Zeiten, in denen zertifizierte Ingenieure nur noch externe Arbeit abzeichneten, ist das Ganze eine Struktur, in der alles immer billiger und schneller werden soll und dabei Sicherungen verschwinden
      LLMs sind nicht die Ursache, sondern machen diese Rückentwicklung nur sichtbar
      Ich mag AI ebenfalls, aber es braucht einen verantwortungsvollen Einsatz
    • Vorsatz ist wichtig
      Fahrlässigkeit und Absicht sollten rechtlich unterschiedlich behandelt werden
    • Es reicht nicht, nur Menschen die Schuld zu geben
      Wenn so etwas wiederholt passiert, muss man das Werkzeug selbst anpassen
      Auch wenn jedes Mal der Nutzer einen Fehler gemacht hat: Wenn systematisch immer wieder das gleiche Problem auftritt, ist es letztlich ein Designproblem des Werkzeugs
    • Das Problem der Halluzinationen bei LLMs ist längst weithin bekannt
      Wer das nicht wusste, ist entweder nachlässig oder inkompetent

  • Ich frage mich, wann Anwälte endlich begreifen, dass sie Aussagen von LLMs selbst verifizieren müssen

    • Die meisten Menschen werden am Ende doch nicht prüfen
      Wie beim autonomen Fahren ist eine Struktur nach dem Motto „Greife nur ein, wenn es nötig ist“ wegen der Grenzen menschlicher Aufmerksamkeit zum Scheitern verurteilt
      Der Ansatz „Menschen müssen eben besser kontrollieren“ funktioniert in der Praxis nicht
    • Menschen vertrauen LLMs unbewusst wegen ihres selbstsicheren Tons
      Genau das ist am gefährlichsten
    • Eigentlich sind LLMs nur ein Spiegel dafür, wie verkommen die Gesellschaft geworden ist
    • Dass solche Vorfälle in den Nachrichten erscheinen, ist wahrscheinlich nur ein kleiner Ausschnitt; in Wirklichkeit machen womöglich alle ähnliche Fehler
    • Ich habe diese Woche Literaturzitate in einer Arbeit nachverfolgt, und 25 % waren komplett erfunden, die Hälfte des Rests war ebenfalls falsch
      Das ist kein Problem nur von Anwälten

  • Bemerkenswert ist die Empfehlung des Obersten Gerichtshofs, man solle „echte Intelligenz statt künstlicher Intelligenz einsetzen“

  • Am Ende wird es wohl immer mehr Arbeiten mit gefälschten Zitaten geben
    Wenn AI auf solchem Material trainiert wird, besteht die Gefahr, dass es im Internet irgendwann mehr halluzinierte als echte Informationen gibt

  • In den USA und im Vereinigten Königreich ist es ähnlich
    Anwälte sind technisch oft schwach aufgestellt und bearbeiten von Chatbots erzeugte Dokumente direkt selbst, weshalb Fehler praktisch unvermeidlich sind
    Verwandte Fälle werden auch im Bericht von Doughty Street behandelt

  • Das Rechtssystem selbst produziert viel zu viele unnötige Standardformulierungen (boilerplate)
    Auch Anwälte lesen das nicht vollständig, sondern überfliegen nur die relevanten Stellen
    Der unverantwortliche Einsatz von AI ist problematisch, aber das ist auch eine Chance, die Struktur juristischer Dokumente zu vereinfachen
    Recht ist nicht dasselbe wie Code, doch bei übermäßig komplexen Strukturen gibt es klar Raum für Verbesserungen

    • Juristische Sprache braucht präzise Formulierungen, um Mehrdeutigkeit zu vermeiden
      Eine Vereinfachung kann im Gegenteil den Interpretationsspielraum vergrößern und damit mehr Streit auslösen
      Juristendeutsch ist letztlich ein Mittel, Zweifel zu verringern
    • Juristische Dokumente sind wie Code, auf den immer neue Schichten aufgesetzt wurden
      Eine Struktur, bei der sich ohne grundlegende Vereinfachung nur immer mehr Dekoration angesammelt hat

  • Dieses Problem wird in allen Branchen größer werden
    Ich forsche im Fintech-Bereich an Gegenmaßnahmen, und der Ansatz von Resemble AI scheint mir am praktikabelsten
    Entscheidend ist nicht nur Text, sondern auch Erkennung von AI-Stimmklonen und Watermarking
    Die Realität, ständig nur hinterherzureagieren, ist alles andere als einfach

  • Die Ausrede „ein Fehler durch das Vertrauen auf eine automatisierte Quelle“ ist ungefähr so, als würde man sagen:
    „Die Waffe war automatisch, also ist es nicht meine Schuld, dass jemand gestorben ist.“

  • Vorhersage des nächsten Tokens und Halluzinationen sind keine bloßen Bugs
    In Bereichen, in denen Zuverlässigkeit und Integrität wichtig sind, ist es äußerst gefährlich, solche Probleme unbeachtet zu lassen