Tennessee-Frau wegen Fehlers bei KI-Gesichtserkennung zu Unrecht wegen Straftat in North Dakota festgenommen

• Angela Lipps (50) aus Tennessee wurde aufgrund von KI-Gesichtserkennungstechnologie als Verdächtige in einem Bankbetrugsfall in North Dakota festgenommen und mehr als fünf Monate inhaftiert, obwohl sie den Bundesstaat nie besucht hatte
• Das Clearview-AI-System identifizierte eine ähnlich aussehende Person fälschlich als Lipps, woraufhin die Polizei von Fargo auf dieser Grundlage einen Haftbefehl erwirkte
• Später wurde durch Bankunterlagen belegt, dass Lipps sich zur Tatzeit in Tennessee befand, woraufhin die Anklage als unbegründet fallengelassen und sie freigelassen wurde
• Die Polizei von Fargo räumte Fehler bei der Weitergabe von KI-Informationen und die Nichtvorlage von Überwachungsvideos ein und kündigte an, die Verfahren für den Einsatz von KI-Daten zu verschärfen
• Der Fall gilt als Beispiel dafür, dass die Zuverlässigkeit von KI-Ermittlungstechnik und die Notwendigkeit menschlicher Prüfverfahren stärker in den Fokus rücken

---

Fall einer Fehlfestnahme einer Frau aus Tennessee durch fehlerhafte KI-Gesichtserkennung

• Angela Lipps (50), Einwohnerin des Bundesstaats Tennessee, wurde durch KI-Gesichtserkennungstechnologie als Verdächtige in einem Bankbetrugsfall im Bundesstaat North Dakota festgenommen und mehr als fünf Monate inhaftiert, obwohl sie dort nie gewesen war
  • Die Polizei von Fargo räumte ein, dass es im Verlauf der Fallbearbeitung „einige Fehler“ gegeben habe, sprach jedoch keine offizielle Entschuldigung aus
  • Die Festnahme erfolgte am 14. Juli in Lipps’ Wohnhaus in Tennessee; ein bereits Wochen zuvor in Fargo ausgestellter Haftbefehl lag vor

• Ablauf des Falls

  • Bei den Ermittlungen zu einem Bankbetrugsfall im Raum Fargo setzte die Polizei „Gesichtserkennungstechnologie einer Partnerbehörde“ ein, um eine Verdächtige zu identifizieren
  • Die Polizei von West Fargo nutzte das System Clearview AI, das in einem Bericht eine Person aufführte, die Lipps ähnlich sah
  • Die Polizei von Fargo stufte Lipps auf Grundlage dieser Information als Verdächtige ein und legte dem Büro der Staatsanwaltschaft von Cass County einen Bericht vor
  • Später erklärte die Polizei von Fargo, dass der Einsatz des KI-Systems durch West Fargo nicht an die vorgesetzte Stelle gemeldet worden sei und inzwischen untersagt wurde

• Inhaftierung und Freilassung

  • Am 1. Juli erließ ein Richter in North Dakota einen Haftbefehl mit landesweiter Auslieferungsmöglichkeit
  • Lipps wurde am 14. Juli festgenommen, mehr als drei Monate in einem Gefängnis in Tennessee festgehalten und anschließend nach North Dakota überstellt
  • Nach der Überstellung beschaffte die Verteidigung Bankunterlagen, die belegten, dass Lipps sich zum Tatzeitpunkt in Tennessee befand
  • Am 23. Dezember beschlossen die Polizei von Fargo, die Staatsanwaltschaft des Bundesstaats und ein Richter gemeinsam, die Anklage „mangels Grundlage abzuweisen“; Lipps wurde am 24. Dezember freigelassen
  • Das Anwaltsteam kritisierte, dass „die lange Haft unnötig fortgesetzt wurde, obwohl es eindeutig entlastende Beweise gab“

• Untersuchungsergebnisse und Reaktion der Polizei von Fargo

  • Die Polizei nannte Fehler bei der Weitergabe von Informationen aus dem KI-System und die Nichtvorlage von Überwachungsvideos als zentrale Versäumnisse
  • Die Polizei von Fargo will künftig keine KI-Daten aus West Fargo mehr verwenden und stattdessen mit staatlichen und föderalen Informationszentren zusammenarbeiten
  • Zudem wurden die Verfahren verschärft: Alle Ergebnisse aus Gesichtserkennungssystemen müssen nun monatlich dem Leiter der Ermittlungsabteilung gemeldet werden
  • Auch Mängel im Benachrichtigungssystem für Festnahmen mit Cass County und der Staatsanwaltschaft des Bundesstaats wurden als Problem benannt; Verbesserungen werden geprüft
  • Die Polizei prüft disziplinarische Maßnahmen gegen die beteiligten Ermittler und erklärte, „niemand wolle unnötige Festnahmen“

• Betroffene und rechtliche Schritte

  • Lipps ist Großmutter von drei Kindern und fünf Enkelkindern und betont, nie in North Dakota gewesen zu sein
  • Während der Haft habe sie „Angst, Erschöpfung und Scham“ erlebt, schrieb sie auf einer GoFundMe-Seite
  • Die Verteidigung kritisierte, „KI-Gesichtserkennung sei als Abkürzung genutzt worden, um grundlegende Ermittlungsarbeit zu ersetzen“, und prüft die Möglichkeit einer Bürgerrechtsklage

• Kritik an KI-Ermittlungstechnik

  • Polizeibehörden in den USA führen KI-Technologien schnell ein, doch es gebe nur wenige Belege für ihre Wirksamkeit
  • Professor Ian Adams von der University of South Carolina erklärte, Fehler im Zusammenhang mit KI seien meist ein Zusammenspiel aus Technik und menschlichen Faktoren
  • Er betonte, Ermittler dürften Algorithmusergebnissen nicht blind vertrauen und müssten sie unbedingt durch menschliche Prüfverfahren absichern
  • Bereits zuvor habe es Fälle von KI-Fehlidentifikation gegeben, etwa als ein KI-Sicherheitssystem eine leere Chipstüte für eine Schusswaffe hielt und deshalb ein Schüler festgenommen wurde

• Aktueller Stand des Falls

  • Die Polizei von Fargo erklärte, der Fall sei „weiterhin anhängig“ und je nach weiteren Ermittlungsergebnissen könnten Anklagen erneut erhoben werden
  • Die Verteidigung begrüßte zwar die angekündigten Verbesserungen der Polizei, bewertete aber das „Fehlen grundlegender Ermittlungsverfahren“ weiterhin als Problem

[GN⁺]

Hacker-News-Kommentare

• Unabhängig davon, ob es AI war oder nicht, habe ich nur eine Frage — wer hat tatsächlich ermittelt?
  Niemand hat ihre IP, Zeugen oder auch nur den AI-Flag überprüft. Man hat sich einfach die Daten angesehen und gesagt: „Wir haben sie.“
  Noch schlimmer ist der Teil, in dem sie sagt: „Ich werde nie wieder nach North Dakota zurückkehren.“ Die Lehre sollte nicht „Meide diesen Bundesstaat“ sein, sondern das gesamte System infrage stellen.
  Solche Fälle gab es schon früher, etwa Apples Fall einer Fehlverhaftung oder der Fall eines Mannes, der vor seiner Familie abgeführt wurde. Wenn wir uns nicht dagegen wehren, landen wir in einer Welt, in der für alle gilt: erst als schuldig behandelt werden und dann die eigene Unschuld beweisen müssen.

  • Das Problem im Rechtssystem ist, dass es keinen Anreiz gibt, die Wahrheit zu finden.
    Ich selbst habe einmal den Notruf 911 gewählt und wurde am Ende stattdessen als Falschmelder dargestellt. Die Bodycam-Aufnahmen widerlegten das eindeutig, aber die Beteiligten interessierten sich nur für eine „Anklage“. Zum Glück entschied die Jury richtig.
  • Natürlich hätte ermittelt werden müssen. Aber das größere Problem ist, dass Menschen an die Illusion glauben, AI sei fehlerfrei.
    Selbst wenn man sagt: „Die Ergebnisse müssen verifiziert werden“, gibt es sogar auf HN Leute, die behaupten, das sei nicht nötig.
  • Die Lehre haben wir schon bei DNA und Fingerabdrücken gesehen. Menschen einzusperren, nur weil „der Computer eine Übereinstimmung gefunden hat“, ist gefährlich.
    Solche Systeme sollten nur zur Hinweisgewinnung genutzt werden. Stattdessen werden sie aktuell fast so eingesetzt, als würde in einer Fernsehserie „die AI die Wahrheit sagen“.
    Viele wollen nur die einfache Lehre mitnehmen: „Bloß nie nach North Dakota fahren.“ Aber das eigentliche Problem sind die Falsch-Positiv-Rate und die strukturellen Grenzen des Rechtssystems.
  • Du lässt einen Punkt aus. Die Anwälte sagten, dass „Trauma, Freiheitsverlust und Rufschädigung nicht leicht wiedergutzumachen sind“.
    Das ist ganz offensichtlich eine Aussage zur Vorbereitung einer Schadensersatzklage. Sie will vermutlich einfach nur in ihr normales Leben zurück. Zu sagen „Kämpf gegen das System“ ist in der Realität viel zu schwer.
  • Ich bin kein Jurist, aber in den USA gelten bei Verhören in Gewahrsam die Miranda-Rechte.
    Vielleicht wäre es besser, Problemen lieber mit Software von Musk oder Altman aus dem Weg zu gehen.

• Der verwendete Anbieter war Clearview AI. Laut offizieller Richtlinie sind Anträge auf Datenlöschung außer in einigen gesetzlich dazu verpflichteten Bundesstaaten nicht möglich.
  Deshalb interessiere ich mich plötzlich für den S1422 Biometric Privacy Act in New York.

  • Für Einwohner von Illinois schreibt die Richtlinie offenbar die Erhebung und Speicherung biometrischer Daten vor. Strafverfolgungsbehörden dürften jedoch mit Ausnahmen wie Verwaltungsbeschlüssen etc. leicht durchkommen.
  • Dazu gibt es auch den Fall der strafrechtlichen Beschwerde von noyb gegen Gesichtserkennung.
  • Um eine Löschung zu beantragen, muss man ein Foto von sich selbst einreichen, aber ich möchte keiner Firma vertrauen, die mit Peter Thiel verbunden ist.
  • Am Ende bleibt derzeit nichts anderes übrig, als wiederholt Löschung zu verlangen. Selbst wenn gelöscht wird, ist es gut möglich, dass die Daten irgendwann wieder in der Datenbank landen.

• Allein in diesem Monat habe ich mehrfach Fälle von Fehlverhaftungen durch Gesichtserkennung gesehen. Es passiert inzwischen so häufig.
  Bei 350 Millionen Menschen in den USA gibt es viele ähnlich aussehende Personen. Sobald AI fragt, „wer sieht der Person in diesem Video ähnlich?“, entsteht eine Struktur, in der man allein wegen einer Ähnlichkeit verhaftet wird.
  „Sieht ähnlich aus“ mag für einen Anfangsverdacht reichen, aber als Probable Cause, also als Grundlage für eine Festnahme, reicht das nicht. Es muss mit anderen Beweisen kombiniert werden.
  Das Problem ist nicht die AI selbst, sondern die Denkweise, aus Ähnlichkeit sofort Identität abzuleiten.

• Am schockierendsten ist, dass der Richter den Haftbefehl allein auf Basis des Clearview-Matchings genehmigt hat.
  Richter und das Haftbefehlsverfahren sollen eigentlich Missbrauch durch die Polizei verhindern, aber nicht einmal das hat funktioniert.

• Die frühere Diskussion ist hier.

• Dieser Fall ist eine übertriebene Berichterstattung über AI.
  Das verwendete System war FaceSketchID, das es seit 2014 gibt, und nicht etwas, das direkt mit aktueller AI gleichzusetzen wäre. Das System liefert nur Kandidaten; Ermittlung und Anklage sind Sache von Menschen.
  Die eigentliche Frage ist, warum sie vier Monate lang in Haft war. Normalerweise gilt eine Überstellung innerhalb von 30 Tagen als Grundsatz — lag es vielleicht daran, dass sie auf Bewährung war?

  • In den USA gibt es für Machthaber fast keine spürbare Strafe, selbst wenn sie Verfahren missachten. Später wird höchstens mit Steuergeld entschädigt.
  • Wenn man die Auslieferung anficht, kann sich die Haftdauer von 30 auf bis zu 90 Tage verlängern. Außerdem kann die Frage einer falschen Identität in der Auslieferungsanhörung gar nicht verhandelt werden.
  • Wahrscheinlich wurde sie wegen eines Bewährungsverstoßes zusätzlich festgehalten.
  • Ermittlungen müssen von Menschen durchgeführt werden, aber das Problem ist, dass die „selbstsicheren Fehler“ von AI das menschliche Urteilsvermögen lähmen. Menschen lassen sich leicht von Sicherheit täuschen.

• Das Zitat im Artikel, „Das ist kein Technologieproblem, sondern ein Problem aus Technologie und Menschen“, ist mir im Gedächtnis geblieben.

  • In letzter Zeit fühlt sich die Formulierung „It’s not just X, it’s X and Y“ wie ein von AI erzeugtes Satzmuster an. Falls die AI den Artikel geschrieben hätte, wäre dieser Satz vielleicht sogar ein halluziniertes Zitat.

• Ich wusste nicht, dass die Schwelle für einen Haftbefehl so niedrig ist. Vor allem dann, wenn man eine Person dafür sogar aus einem anderen Bundesstaat heranschafft.

  • Das ist ein klassischer Fall des Base-Rate-Fallacy.
    Selbst ein System mit 99,999 % Genauigkeit erzeugt bei 300 Millionen geprüften Personen 3.000 Fehlalarme. Die meisten davon treffen Unschuldige.
    Deshalb ist automatisierte Massenüberwachung gefährlich.

• Wirklich beängstigend ist nicht der Fehler der AI, sondern, dass niemand das Ergebnis verifiziert hat.
  Anonyme Hinweise werden untersucht, aber einem AI-Match glaubt man einfach so. Am Ende hat man also ein Werkzeug geschaffen, mit dem Ermittlungen ausgelassen werden.