Bewaffnete Polizei umstellt Schüler, nachdem KI eine Doritos-Tüte für eine Waffe hält

• An einer US-Highschool kam es aufgrund eines Fehlalarms eines KI-Waffenerkennungssystems zu einem Vorfall, bei dem ein Schüler von bewaffneten Polizisten umstellt wurde
• Das System analysiert Aufnahmen von Überwachungskameras und erkennt dabei die Form von Schusswaffen, verwechselte in diesem Fall jedoch eine Doritos-Tüte mit einer Waffe
• Der Schüler wurde unter vorgehaltener Waffe in Handschellen gelegt; ein später von der Polizei gezeigtes KI-Screenshot bestätigte den Fehlalarm
• Das Unternehmen Omnilert, das das System entwickelt hat, behauptete: „Es war ein Fehlalarm, aber das System hat wie vorgesehen funktioniert“; auch die Schule veröffentlichte eine Stellungnahme, die diese Sicht stützt
• Der Vorfall hat eine Debatte über die Zuverlässigkeit und ethischen Grenzen von KI-Überwachungstechnologien an Schulen ausgelöst und die Risiken einer von KI abhängigen Gesellschaft offengelegt

---

Überblick über den Vorfall

• An der Kenwood High School in Baltimore im US-Bundesstaat Maryland wurde der 16-jährige Schüler Taki Allen aufgrund eines Fehlalarms eines KI-Überwachungssystems von bewaffneten Polizisten überwältigt
  • Der Vorfall ereignete sich am 20. Oktober, als Allen nach dem Football-Training mit Freunden zusammen war
  • Mehrere Polizeifahrzeuge kamen vor der Schule an und richteten ihre Waffen auf die Schüler mit dem Befehl: „Auf den Boden“
• Allen wurde auf die Knie gezwungen, in Handschellen gelegt und durchsucht; die Polizei fand keinerlei Waffen
  • Auf dem von der Polizei gezeigten KI-Screenshot wurde die zerknüllte Doritos-Tüte in seiner Tasche als Waffe erkannt
• Allen sagte, er habe in dem Moment gedacht, dass er sterben könnte, und erklärte, dass er seit dem Vorfall Angst habe, wieder zur Schule zurückzukehren

Funktionsweise des KI-Systems und seine Probleme

• Bei dem betroffenen System handelt es sich um Omnilerts Gun Detection Technology, eine KI-Überwachungslösung, die im vergangenen Jahr an öffentlichen Schulen im Baltimore County eingeführt wurde
  • Sie analysiert bestehende CCTV-Bilder in Echtzeit und sendet sofort einen Alarm an die Polizei, wenn sie einen Gegenstand erkennt, der als Schusswaffe eingeordnet wird
• Omnilert räumte ein, dass es sich in diesem Fall um ein „false positive (Fehlalarm)“ handelte, behauptete jedoch zugleich, das System habe „wie beabsichtigt funktioniert“
  • Das Unternehmen erklärte, Ziel sei die „rasche menschliche Überprüfung zur Gewährleistung der Sicherheit“, daher handle es sich nicht um ein grundlegendes Problem der Technologie
• Allerdings betont das Werbematerial des Unternehmens „sofortige Waffenerkennung“ und eine „nahezu bei null liegende Fehlalarmrate“, wodurch der Vorfall die Glaubwürdigkeit dieser Aussagen erschüttert

Reaktionen von Schule und lokaler Gemeinschaft

• Baltimore County Public Schools wiederholte in einem Schreiben an Eltern die Position von Omnilert und erklärte, es habe sich um „eine Maßnahme zur Sicherheit und Sensibilisierung der Schüler“ gehandelt
  • Die Schule kündigte an, für Schüler, die den Vorfall miterlebt hatten, Beratungsangebote bereitzustellen
• Allen sagte jedoch, er habe weder eine direkte Entschuldigung noch eine Kontaktaufnahme von der Schule erhalten
  • Er äußerte Enttäuschung über die Reaktion der Schule und sagte, man habe ihm lediglich erklärt, es sei „nur ein Protokoll“ gewesen
• Nach dem Vorfall sagte Allen, er habe Angst, dass „die Polizei wieder kommt, wenn ich erneut Snacks esse oder etwas trinke“, und zögere deshalb, in die Schule zurückzukehren

Ausweitung der Debatte über KI-Überwachungstechnologien

• Der Vorfall hat eine Debatte über die Zuverlässigkeit und ethischen Grenzen von KI-Überwachungssystemen ausgelöst
  • Insbesondere wurde deutlich, dass Fehlalarme von KI in sensiblen Räumen wie Schulen die Sicherheit von Schülern gefährden können
• Experten warnen, dass Fehler in der Beurteilung durch KI, wenn sie zu realen bewaffneten Einsätzen führen, das Risiko von Personenschäden bergen
• Der Vorfall lenkt erneut Aufmerksamkeit auf die gesellschaftliche Verantwortung von KI-Technologien und die Bedeutung menschlicher Prüfverfahren

Internationale Entwicklungen im Zusammenhang mit der Verbreitung von KI-Technologien

• Im selben Zeitraum sorgte die Aussage des Generalmajors der US-Armee William ‘Hank’ Taylor, er nutze ChatGPT für militärische Entscheidungsfindung, für Kontroversen
  • Dies zeigt, dass sich die Abhängigkeit von KI auch in öffentlichen Institutionen und militärischen Organisationen schnell ausbreitet
• In Großbritannien wurde zudem ein gesichtserkennungsbasiertes Altersverifikationssystem für den Zugang zu Erwachsenen-Inhalten eingeführt, was eine weitere KI-Debatte auslöste
  • Ein Mann mit vielen Tattoos behauptete, vom System die Meldung „remove your face“ erhalten zu haben, was die Nebenwirkungen von Fehlern bei der KI-Erkennung verdeutlicht
• Solche Fälle gelten als repräsentative Beispiele für die unvorhersehbaren Folgen, die entstehen, wenn KI tief in den Alltag und den Bereich der öffentlichen Sicherheit eindringt

[onixboox]

Der verhaftete Student war doch hoffentlich nicht etwa schwarz, oder?

[GN⁺]

Hacker-News-Kommentare

• Omnilert hat den Vorfall zwar als false positive eingeräumt, zugleich aber behauptet, das System habe „wie beabsichtigt funktioniert“
  Tatsächlich bedeutet das, dass bewaffnete Einsatzkräfte aufgrund der falschen Information ausrückten, „ein Teenager habe eine Waffe“, was eine äußerst gefährliche Situation geschaffen hat
  Der Schüler könnte ein Trauma davontragen. Ironischerweise wirken die im Artikel zitierten Erwachsenen, die diese Technologie gebaut haben, unreifer als der Schüler selbst

  • Ein weiterer Fall findet sich in diesem Artikel zur Klage gegen das KI-Überwachungssystem des Schulbezirks Lawrence: Ein Schüler machte in einem Gruppenchat einen Witz, die KI meldete ihn, woraufhin er festgenommen und 24 Stunden ohne Kontakt zu Eltern oder Anwalt festgehalten wurde
    Nun läuft eine Klage gegen Gaggle, während der Konkurrent Lightspeed gegen Aufpreis eine Option anbietet, bei der Menschen die Warnungen prüfen
  • Es hieß „Sicherheit durch schnelle menschliche Verifikation“, aber am Ende wirkt das nur wie Verantwortungsabwälzung
  • Das ist faktisch eine AI-swarm-Situation, in der „KI autonom Ressourcen eingesetzt hat“. Es wurde ausgeführt, ohne dass menschliches Urteilsvermögen dazwischentrat
  • Jedes System hat false positives und false negatives, aber in diesem Fall sind beide gefährlich
    Neben einer besseren Qualität des Erkennungsmodells braucht es auch eine Struktur, die die Kosten eines Fehlers reduziert. Menschliche Prüfung oder ein zweiter Bestätigungsschritt wären Wege dahin
  • Ingenieure haben es als „Werkzeug zur Unterstützung der öffentlichen Sicherheit“ gebaut, doch Marketing und Vertrieb haben es als „vollautomatisches Entscheidungssystem“ verkauft, was schließlich zu dieser fast schon satirischen Realität eines Fehlalarms mit gezogenen Waffen geführt hat

• Es sieht so aus, als habe man das Open-Source-Objekterkennungsmodell YOLO leicht abgewandelt und kommerzialisiert
  Wie genau es tatsächlich ist, mit welchen Daten es trainiert wurde und wie hoch die False-Positive-Rate ist, weiß niemand
  Wer solche Systeme ausrollt, sollte meiner Meinung nach verpflichtend Statistiken und Trainingsdaten offenlegen

  • Letztlich wurde das Konzept human in the loop komplett verfehlt. Irgendwann droht diesem Unternehmen vermutlich eine Klage wegen fahrlässiger Tötung

• John Bryan, der als The Civil Rights Lawyer auftritt, wird diesen Fall vermutlich aufgreifen
  Er kritisiert seit Langem, dass Polizei auf Basis unzureichender Informationen Waffen zieht, und bezeichnet das rechtlich als „excessive force“
  Wenn sowohl KI als auch Polizei beim Anblick eines Fotos fälschlich auf eine Waffe geschlossen hätten, ließe sich das vielleicht noch rechtfertigen, aber wenn die KI den Einsatz automatisch ausgelöst hat, ist die Legitimation deutlich schwächer

  • Vielleicht werden wir eines Tages vor Gericht das Argument hören, KI-Beweise seien vertrauenswürdig, weil Milliarden Dollar in die Technologie investiert wurden
  • Ich frage mich, ob der Einsatz von Gewalt ohne ausreichenden Grund unmittelbar übermäßige Gewaltanwendung ist oder ob es da eine Grauzone gibt

• Es ist gefährlich, solche Systeme Menschen anzuvertrauen, die technisch wenig von KI verstehen
  Sie neigen eher dazu, die Ausgaben der KI blind zu glauben
  Worauf sich AI-Sicherheitsteams wirklich konzentrieren sollten, ist, der Gesellschaft verständlich zu machen, dass „Computer falsch liegen können“

• Die Schule sagte, man werde den Schülern „Beratungsangebote“ machen, aber sinnvoller wäre es, sie für Fehlalarme finanziell haften zu lassen
  Solche Technologien sollten vorerst im Laborstadium bleiben

  • Für falsche Entscheidungen muss es Verantwortliche geben. Nur Verantwortlichkeit von Entscheidungsträgern kann schlechte Entscheidungen stoppen
  • Für die falsche Reaktion wurden bereits Personal und Ressourcen verschwendet. Jetzt braucht es Rücktritte oder Sanktionen
  • Man wird schon zynisch und fragt sich, ob es statt Beratung vielleicht einfach Geschenkgutscheine für Psychotherapie gab
  • Natürlich bringt Technologie immer Risiken mit sich, aber ich würde nicht sagen, dass ein einziger Fehlalarm alle Vorteile zunichtemacht
    Allerdings sollte das Verhältnis von Fehlalarmen zu echten Treffern transparent offengelegt werden

• Wir steuern auf eine Zeit zu, in der Überwachungsplattformen wie Palantir in der ganzen Gesellschaft verbreitet sind
  Nichtdeterministische ML-Systeme können bei Fehlern Menschenleben kosten
  In autoritären Gesellschaften werden solche Fehler vertuscht, deshalb sollte man schon jetzt gesetzliche Regulierung fordern

  • Aber dieser Fall betrifft nicht Palantir, sondern Omnilert. Man sollte die Themen nicht vermischen

• Omnilert sagt, das System habe „wie beabsichtigt funktioniert“, aber in Wirklichkeit hat die KI jemanden geswattet
  Orte mit solchen installierten Systemen sollte man besser komplett meiden

  • Das ist die typische Unternehmensausrede im Stil von „kein Bug, sondern ein Feature“
  • Diese Technik wird am Ende unschuldige Schüler zu Opfern machen. Der technologische Stand ist noch nicht so weit
  • Die Behauptung, man habe menschliche Sicherheit priorisiert, ist offenkundig falsch

• Es hieß „schnelle menschliche Verifikation“, tatsächlich war es eher Verifikation vor dem Gewehrlauf

  • Die Haltung „Keine Zeit mit Verifikation verschwenden, die Bedrohung muss sofort ausgeschaltet werden“ ist noch gefährlicher
  • Wenn die Polizei ausrückt, sollte sie sofort das Originalvideo sehen können, das die KI erkannt hat. So ließen sich Fehlalarme reduzieren und die Lage genauer einschätzen
  • Der nächste Schritt ist vielleicht ein CAPTCHA, das mit vorgehaltener Waffe prüft, ob man kein Roboter ist

• Jedes Mal, wenn ich durch die TSA-Scanner am Flughafen gehe, bin ich unnötig angespannt. Wegen Hosen mit Reißverschluss werde ich oft zusätzlich kontrolliert
  Jetzt leben wir in einer Zeit, in der KI-Sicherheitskameras auf der Straße Menschen beliebig markieren können
  Weil sich mit solchen Systemen Geld verdienen lässt, besteht die Gefahr, dass sie sich unkontrolliert verbreiten

  • Mit Precheck oder Global Entry lässt sich die Häufigkeit von Kontrollen senken. Nervig, aber eine realistische Lösung
  • Wenn man sogar seine Kleidung ändert, um Kontrollen zu vermeiden, ist das eine Nebenwirkung von Sicherheitstheater. Irgendwann müssen wir vielleicht sogar Alltagskleidung darauf abstimmen
  • Bürger sollten ihre Meinung direkt per E-Mail mitteilen. Schon ein paar Hundert Rückmeldungen bringen Politiker zum Reagieren. Schweigen ist das größte Problem
  • Einmal habe ich statt meines Ausweises eine Trageerlaubnis für Schusswaffen gezeigt und wurde zusätzlich kontrolliert, bin aber zum Glück ohne Probleme durchgekommen
  • Ein Freund wartete nach dem Scanner auf mich und wurde dann erneut kontrolliert, weil er angeblich „herumlungerte“. Es wirkte wie rassistische Voreingenommenheit

• Die Aussage „Das System hat wie beabsichtigt funktioniert“ wirkt wie das reale „Not a hotdog“-Meme
  Nur ging es diesmal um „Waffe / keine Waffe“, und die Genauigkeit war noch schlechter als dort