Unschuldige Frau wegen Fehler bei KI-Gesichtserkennung monatelang inhaftiert

• Aufgrund eines Fehlers im KI-Gesichtserkennungssystem wurde eine Frau festgenommen und über mehrere Monate inhaftiert, obwohl sie nichts mit dem Verbrechen zu tun hatte
• Ausgelöst wurde der Fall durch eine falsche Identifizierung durch die KI im Zuge der Ermittlungen zu einem Betrugsfall in North Dakota
• Bei der Betroffenen handelte es sich um eine unschuldige Großmutter, die tatsächlich keinerlei Verbindung zu dem Verbrechen hatte, was erst später ans Licht kam
• Der Fall macht Probleme bei Zuverlässigkeit und Verantwortlichkeit KI-basierter Ermittlungstechnologien sichtbar
• Er dient als Anlass für Forderungen nach strengeren Prüfungen der Abhängigkeit von Strafverfolgungsbehörden von KI

---

Fall ungerechtfertigter Inhaftierung durch KI-Fehlerkennung

• In North Dakota wurde eine Frau wegen eines Fehlers in der KI-Gesichtserkennungstechnologie als falsche Verdächtige identifiziert und festgenommen
• Die Frau hatte nichts mit dem Betrugsfall zu tun und blieb mehrere Monate in Haft, bis ihre Unschuld bestätigt wurde
• Der Fall hebt die Grenzen der Genauigkeit von KI-Technologie und Fragen der rechtlichen Verantwortung hervor

Technischer Fehler und gesellschaftliche Auswirkungen

• Der Fehlalarm eines Gesichtserkennungsalgorithmus gilt als typischer Fall, in dem eine Menschenrechtsverletzung aus einer Fehldetektion resultierte
• Problematisch war, dass die Strafverfolgungsbehörden dem Ergebnis der KI-Analyse ohne Überprüfung vertrauten
• Der Fall führte zu Diskussionen, die die Notwendigkeit von Fairness und Transparenz bei KI-Technologien betonen

Notwendigkeit institutioneller Gegenmaßnahmen

• Experten fordern strengere Nutzungsstandards und Prüfverfahren für KI-Ermittlungstools
• Es wird darauf hingewiesen, dass dringend Schutzmechanismen gegen Fehlurteile durch Fehler künstlicher Intelligenz geschaffen werden müssen
• Künftig könnten Fragen der rechtlichen Verantwortlichkeit und der Entschädigung der Betroffenen zu zentralen Streitpunkten werden

[GN⁺]

Hacker-News-Kommentare

• Teilt den Link zum Originalartikel (archive.ph)

• Laut Gerichtsunterlagen hat die Polizei das von der KI vorgeschlagene Ergebnis der Gesichtserkennung von Menschen direkt prüfen lassen und die falsche Festnahme trotzdem weiterverfolgt.
  Die KI hatte nur eine „mögliche Übereinstimmung“ markiert, doch die menschlichen Ermittler behandelten das als eindeutigen Beweis.
  Dass sie am Ende fünf Monate lang festgehalten wurde, ohne auch nur befragt zu werden, lag an der Nachlässigkeit des Strafjustizsystems.

  • Realistisch gesehen wurde hier nur „der Computer hat gesagt, es stimmt“ durch „die KI hat gesagt, es stimmt“ ersetzt.
    Menschen übertragen Maschinen zu viel Autorität und Urteilsvermögen und versuchen, Verantwortung für Fehler zu vermeiden.
  • Das Problem ist nicht einfach nur KI, sondern polizeiliche Macht in Verbindung mit KI.
    Überwachungstechnologien wie Gesichtserkennung und Kennzeichenerkennung werden missbraucht, und selbst wenn das Leben der Betroffenen zerstört wird, übernimmt niemand Verantwortung.
  • Am Ende sieht man hier, wie Menschen einer fehlerhaften KI blind vertrauen und dadurch die Gesellschaft zerfällt.
    Die meisten Leute können KI und tatsächliche Intelligenz nicht unterscheiden und treffen unsinnige Entscheidungen, nur weil „der Computer das so gesagt hat“.
  • Es gab einen ähnlichen Fall, in dem jemand festgenommen wurde, weil eine einfache Medikamentenflasche für Drogen gehalten wurde.
    Das lässt sich im verlinkten Artikel nachlesen.
  • Wenn Hunderte Millionen Fotos gescannt werden, steigt die Falsch-Positiv-Rate zwangsläufig, weshalb die Wahrscheinlichkeit falscher Festnahmen erheblich ist.

• Das ist ganz klar ein Fall für eine Klage gegen die Polizei von Fargo und staatliche Stellen.
  Die Frau im Video ist offensichtlich jünger, und auch verschiedene Umstände sprechen dagegen, dass es dieselbe Person ist.
  Sie sollte mindestens mehrere Millionen Dollar Entschädigung bekommen.

  • Wegen der qualified immunity von Beamten ist das in der Praxis aber äußerst schwierig.
  • Die US Marshals haben womöglich keine Verantwortung, weil sie nur den Haftbefehl vollstreckt haben.
  • Bitter ist auch, dass solche Entschädigungen am Ende aus Steuergeldern der Bürger bezahlt werden.
  • Besonders schockierend ist der Satz: „Während ich im Gefängnis war, habe ich mein Haus, mein Auto und sogar meinen Hund verloren.“
    Man fragt sich, wer den Hund mitgenommen hat.
  • Selbst wenn sie einer Zwillingsschwester ähnlich gesehen hätte, wären sechs Monate Haft absurd.

• Dem Artikel zufolge ist das Ergebnis der Gesichtserkennung zugleich ein KI-Fehler und ein umfassendes menschliches Versagen.
  Polizei, Staatsanwaltschaft, Richter und Sheriffs tragen alle Verantwortung.
  Ein Haftbefehl darf niemals allein auf Gesichtserkennung gestützt werden.

  • Man darf nicht vergessen, dass hier mehrere Akteure gleichzeitig versagt haben:
    a) Missbrauch des Werkzeugs und Fahrlässigkeit durch die Polizei,
    b) fehlende Aufsicht durch die Justiz,
    c) Duldung vorhersehbaren Missbrauchs durch das Unternehmen, das die KI bereitstellt.
    Auf solche Fehler müssen Amtsverlust und institutionelle Verantwortung folgen.
  • Unter 300 Millionen Menschen in den USA gibt es zwangsläufig viele ähnlich aussehende Personen.
    Das ist das Ergebnis blinden Glaubens an die mystischen Fähigkeiten von KI und der Missachtung der Rechte von Beschuldigten.
  • KI ist kein handelndes Subjekt; Verantwortung tragen ausschließlich Menschen.
  • Tatsächlich funktionierte die Software nur als Werkzeug zur Musterfilterung.
    Sie zeigte lediglich eine „mögliche Übereinstimmung“ an, die Menschen dann fälschlich als eindeutigen Beweis verstanden.

• Der Fall erinnert an den britischen Post-Office-Skandal.

  • Ich habe die Anhörungen damals auf YouTube verfolgt, und die Arroganz und Inkompetenz waren schockierend.
  • Auch die BAFTA-prämierte Miniserie Mr Bates vs The Post Office ist zu empfehlen.
  • Wenn ich mich wieder an den Fall erinnere, steigt der Zorn sofort wieder hoch.
  • Immerhin hat der Polizeichef von Fargo noch keinen Ehrenposten bekommen, was ja schon fast beruhigend ist.

• Auch im Video von The Civil Rights Lawyer wird ein ähnlicher Fall behandelt.
  Die KI eines Kasinos identifizierte die falsche Person, und die Polizei nahm sie ohne jede Überprüfung fest.
  Sogar nachdem die Unschuld feststand, hielt die Staatsanwaltschaft weiter an einem Hausfriedensbruchsvorwurf fest.

  • Auch der YouTube-Link zum Video wurde geteilt.
    Wie klein die Welt doch ist: Ein Bekannter eines Bekannten war genau die betroffene Person in diesem Fall.

• Wenn man sich die Fotos aus der Gesichtserkennung ansieht, sieht das eher nach einer allgemeinen Ähnlichkeit aus, von denen man pro Woche mehrere Personen begegnet.

• Erst dachte man erfreut: „Meine Heimatstadt ist bei Hacker News gelandet!“, aber nach dem Lesen kam sofort ein ungutes Gefühl auf.
  Der Polizeichef sei heute zurückgetreten; vermutlich hängt das mit diesem Fall zusammen.

  • Auch unsere Gegend kommt nur wegen solcher Zwischenfälle und Skandale in die nationalen Nachrichten.
  • Jemand fragte auch nach der Quelle für die Meldung über den Rücktritt des Polizeichefs.

• Viele sagen: „Nicht die KI hat versagt, sondern die Menschen.“ Aber damit spielt man am Ende nur der Marketingstrategie der KI-Unternehmen in die Hände.
  Polizei, Politiker und Systembetreiber bewegen sich alle in einer Struktur der Haftungsabschirmung, sodass man sie kaum zur Verantwortung ziehen kann.
  Am Ende bleiben nur das Werkzeug und seine Hersteller übrig.
  Der Satz „Nicht die KI ist das Problem, sondern die Menschen“ hilft letztlich sogar noch dabei, Unternehmensverantwortung zu verwässern.
  Wenn man echte Verantwortung einfordern will, muss man Kapital und Technologieanbieter zur Rechenschaft ziehen.

  • Dem stimme ich vollkommen zu.
    Dieses Ergebnis war absehbar, und in dem Moment, in dem Gesichtserkennungs-KI an US-Polizeibehörden verkauft wurde, war so etwas bereits vorprogrammiert.