- Laut einer Untersuchung von +972 Magazine und Local Call markierte das israelische Militär zu Beginn des Gaza-Kriegs mit Lavender Zehntausende Palästinenser als Ziele für Tötungen; Geheimdienstoffiziere behandelten die Ergebnisse faktisch wie menschliche Urteile
- Lavender bewertete Personen danach, ob sie mutmaßlich zur militärischen Organisation der Hamas oder des Palestinian Islamic Jihad gehörten; Zeugenaussagen zufolge wurden in den ersten Kriegswochen rund 37.000 Personen als mutmaßliche Kämpfer markiert
- Mehrere Geheimdienstquellen sagen, Offiziere hätten Ziele nicht unabhängig verifiziert und in der Regel nur 20 Sekunden darauf verwendet zu prüfen, ob es sich um einen Mann handelte; obwohl intern eine Fehlerquote von etwa 10 % bekannt gewesen sei, habe es keine Politik der „Fehlerfreiheit“ gegeben
- Für die Zielverfolgung seien automatisierte Systeme wie Where’s Daddy? eingesetzt worden; sobald ein Ziel das Familienhaus betrat, sei es zum Bombardierungsziel geworden, und bei Zielen niedrigerer Stufe seien ungelenkte Bomben (dumb bomb) präzisionsgelenkter Munition vorgezogen worden
- Das israelische Militär bestritt die Behauptung, KI habe Ziele „angeklagt“, und verwies auf unabhängige Geheimdienstanalyse und die Einhaltung des Völkerrechts; Quellen sind jedoch der Ansicht, dass tolerierte zivile Verluste, automatisierte Berechnungen von Kollateralschäden und fehlende Echtzeitverifikation zu massenhaften zivilen Todesopfern geführt hätten
Zielerzeugung durch Lavender
- Das 2021 auf Englisch erschienene Buch The Human-Machine Team entwarf eine „Maschine“, die im Krieg riesige Datenmengen schnell verarbeitet, um Tausende potenzieller militärischer Ziele zu erzeugen
- Der Autor verwendete das Pseudonym „Brigadier General Y.S.“; +972 und Local Call erklärten, sie hätten bestätigt, dass es sich dabei um den aktuellen Kommandeur der israelischen Geheimdiensteinheit Unit 8200 handelt
- Das Buch argumentiert für eine Verbindung von KI und Menschen, um den menschlichen Flaschenhals bei der Suche nach neuen Zielen und bei Entscheidungen über deren Freigabe zu beseitigen
- Der Untersuchung zufolge entwickelte das israelische Militär tatsächlich ein KI-basiertes Programm namens Lavender; sechs israelische Geheimdienstoffiziere, die während des Gaza-Kriegs direkt an der KI-gestützten Erstellung von Tötungszielen beteiligt waren, sagten dazu aus
- Das System war offiziell dafür ausgelegt, mutmaßliche Mitglieder der militärischen Organisationen Hamas und Palestinian Islamic Jihad, insbesondere auch rangniedrige Mitglieder, als potenzielle Bombenziele zu markieren
- Quellen berichten, dass sich das Militär in den ersten Kriegswochen fast vollständig auf Lavender verließ und rund 37.000 Palästinenser und ihre Wohnhäuser als Kandidaten für Luftangriffe markiert wurden
- Ein Sprecher des israelischen Militärs bestritt in einer Antwort an +972 und Local Call die Existenz einer solchen kill list
Ausweitung des Umfangs von „human targets“
- In der israelischen Armee bezeichnete „human target“ früher nach den Regeln der militärischen Völkerrechtsabteilung einen hochrangigen militärischen Akteur, der auch in einem privaten Wohnhaus getötet werden konnte, selbst wenn sich Zivilisten in der Nähe befanden
- Nachdem von der Hamas angeführte bewaffnete Kräfte am 7. Oktober den Süden Israels angegriffen, rund 1.200 Menschen getötet und 240 Personen entführt hatten, habe das israelische Militär laut Quellen in der „Operation Iron Swords“ die gesamte militärische Organisation der Hamas unabhängig von Rang und militärischer Bedeutung als human targets eingestuft
- Früher musste ein Offizier zur Genehmigung der Tötung eines einzelnen human target ein komplexes und langwieriges incrimination-Verfahren durchlaufen
- Es wurde gegengeprüft, ob Belege dafür vorlagen, dass die Person ein hochrangiges Mitglied der militärischen Organisation der Hamas war
- Wohnort und Kontaktdaten wurden ermittelt
- Es musste in Echtzeit bekannt sein, wann sich die Person zu Hause befand
- Als sich die Zielliste von einigen Dutzend hochrangigen Akteuren auf Zehntausende rangniedrige Akteure ausweitete, sei die Geheimdienstarbeit laut Quellen stark von Automatisierungssoftware und KI abhängig geworden
- Ein hoher Offizier sagte, es sei der „Holy Grail“ gewesen, rangniedrige Akteure automatisch angreifen zu können; mit der Umstellung auf Automatisierung komme es zu einer Explosion der Zielerzeugung
Funktionsweise und Daten von Lavender
- Lavender analysierte Informationen, die durch ein großangelegtes Überwachungssystem über den Großteil der 2,3 Millionen Einwohner des Gazastreifens gesammelt wurden, und bewertete für jede Person auf einer Skala von 1 bis 100, wie wahrscheinlich eine Aktivität in den militärischen Organisationen Hamas oder PIJ sei
- Das System nutzte Informationen über bekannte Hamas- und PIJ-Mitglieder als Trainingsdaten, lernte deren Merkmale bzw. features und suchte in der allgemeinen Bevölkerung nach ähnlichen Eigenschaften
- Das Buch The Human-Machine Team enthält eine kurze Anleitung zum Aufbau einer KI-basierten „target machine“ sowie Beispiele für Merkmale, die den Score einer Person erhöhen können
- Mitgliedschaft in derselben WhatsApp-Gruppe wie bekannte Kämpfer
- Wechsel des Mobiltelefons alle paar Monate
- Häufige Adresswechsel
- Der Leiter des Data Science and AI Center von Unit 8200, „Col. Yoav“, beschrieb in einem nicht öffentlichen Vortrag auf der AI Week der Tel Aviv University 2023 eine Zielmaschine, die „gefährliche Personen“ auf Basis ihrer Ähnlichkeit mit bestehenden Listen bekannter Kämpfer erkennt
- Er sagte, das System habe im Gaza-Militäreinsatz im Mai 2021 Kommandeure der Hamas-Raketeneinheit identifiziert
- Vortragsfolien zeigten eine Struktur, bei der bestehende Daten zu Hamas-Akteuren eingespeist, Merkmale gelernt und anschließend andere Palästinenser nach Ähnlichkeit bewertet werden
- „Col. Yoav“ betonte, die endgültige Entscheidung treffe ein Mensch; Quellen, die Lavender zuletzt verwendet hätten, sagen jedoch, in der Praxis sei menschliche präzise Urteilsfähigkeit durch massenhafte Zielerzeugung und Tödlichkeit ersetzt worden
Freigabeprozess und Fehlertoleranz
- Laut Quellen wurde die automatische Übernahme der Lavender-Zielliste etwa zwei Wochen nach Kriegsbeginn genehmigt
- Geheimdienstpersonal überprüfte manuell mehrere Hundert von der KI ausgewählte Stichproben
- In diesen Stichproben sei die Genauigkeit von Lavender bei der Erkennung von Hamas-Bezügen auf 90 % geschätzt worden
- Danach, so heißt es, behandelten Offiziere es faktisch wie einen Befehl, wenn Lavender eine Person als Hamas-Kämpfer einstufte, ohne die Rohdaten oder die Gründe für die Bewertung unabhängig prüfen zu müssen
- Ein hoher Offizier sagte, internen Prüfungen zufolge galten die Berechnungen von Lavender als nur zu 90 % korrekt; das bedeute, dass 10 % der Tötungsziele möglicherweise keine Mitglieder der militärischen Organisation der Hamas waren
- Laut Quellen konnte Lavender Personen fälschlich markieren, deren Kommunikationsmuster denen bekannter Hamas- oder PIJ-Mitglieder ähnelten
- Polizei- und Zivilschutzpersonal
- Verwandte von Kämpfern
- Bewohner mit demselben Namen oder Spitznamen wie tatsächliche Akteure
- Gaza-Bewohner, die Geräte nutzten, die früher Hamas-Mitglieder verwendet hatten
- Eine Quelle sagte, es habe keine „Politik der Fehlerfreiheit“ gegeben; Fehler seien statistisch behandelt worden
- Eine andere Geheimdienstquelle erklärte, bei Zielen rangniedriger Kämpfer sei es den Zeitaufwand der Geheimdienstoffiziere nicht wert gewesen, sie zu verifizieren; man habe daher die Fehlerspanne der KI und das Risiko ziviler Todesopfer in Kauf genommen
Menschliche Verifikation beschränkte sich auf die Feststellung des Geschlechts
- Das israelische Militär bestritt die Behauptung, KI habe Ziele angeklagt, und antwortete, solche Werkzeuge seien lediglich Hilfsmittel zur Unterstützung des incrimination-Prozesses
- Die militärische Antwort erklärte, in jedem Fall sei eine unabhängige Prüfung durch Geheimdienstanalysten erforderlich, die verifizieren müssten, ob das identifizierte Ziel nach militärischen Richtlinien und internationalem Recht ein rechtmäßiges Ziel sei
- Quellen sagen jedoch, dass das tatsächliche Verfahren menschlicher Aufsicht vor der Bombardierung der Häuser von durch Lavender markierten mutmaßlichen rangniedrigen Kämpfern praktisch auf eine einzige Prüfung hinauslief
- Es wurde überprüft, ob das von der KI ausgewählte Ziel weiblich oder männlich war
- Intern habe es die Annahme gegeben, dass es in den militärischen Organisationen von Hamas und PIJ keine Frauen gebe; sei das Ziel eine Frau, sei ein Fehler der Maschine wahrscheinlich
- Ein hoher Offizier sagte, pro Ziel habe man gewöhnlich 20 Sekunden aufgewendet; sein einziger menschlicher Mehrwert habe darin bestanden zu prüfen, ob es sich um eine männliche Stimme handelte
- Quellen weisen darauf hin, dass es bei diesem Vorgehen keinen Kontrollmechanismus gab, um Fehler aufzufangen, wenn Lavender zivile Männer fälschlich markierte
Where’s Daddy? und die Verfolgung von Familienhäusern
- Im nächsten Schritt wurde festgelegt, wo die von Lavender erzeugten Ziele angegriffen werden sollten
- Das israelische Militär behauptet, die Hamas stationiere Akteure und militärische Mittel im Zentrum ziviler Bevölkerung und führe Kämpfe innerhalb ziviler Strukturen wie Krankenhäusern, Moscheen, Schulen und UN-Einrichtungen
- Auch die sechs Quellen räumten in gewissem Maße ein, dass das Tunnelsystem der Hamas unter Krankenhäusern und Schulen verlaufe, Kämpfer Krankenwagen nutzten und militärische Mittel in der Nähe ziviler Gebäude stationiert würden
- Gleichzeitig sagen die Quellen, einer der Hauptgründe für die beispiellos hohe Zahl der Todesopfer bei den aktuellen Bombardierungen sei, dass das Militär Ziele systematisch in privaten Wohnhäusern angriff, wenn sie dort mit ihren Familien waren
- Automatisierte Tracking-Software habe Tausende Personen gleichzeitig verfolgt und den zuständigen Zieloffizier automatisch benachrichtigt, sobald ein Ziel das Haus betrat
- Eines dieser Systeme sei das hier erstmals öffentlich gemachte Where’s Daddy?
- Eine Quelle nannte dies „broad hunting“ und beschrieb es als Verfahren, bei dem man die vom Zielsystem erzeugte Liste einfach kopiere und einfüge und dann darauf warte, wer getötet werden könne
- Nach UN-Angaben gehörten im ersten Kriegsmonat mehr als die Hälfte der Todesopfer, nämlich 6.120 Personen, zu 1.340 Familien; viele Familien wurden in ihren Häusern vollständig ausgelöscht
- Aussagen zufolge konnte ein auf der Lavender-Liste stehender Name in Where’s Daddy? eingespeist, die Person dauerhaft überwacht und in dem Moment, in dem sie das Haus betrat, das gesamte Haus zum Ziel eines Angriffs gemacht werden, der es zum Einsturz brachte
Waffenwahl und ungelenkte Bomben
- Nachdem Lavender Tötungsziele markiert, Militärpersonal das Geschlecht überprüft und Tracking-Software den Aufenthaltsort in einem Wohnhaus erfasst hatte, bestand der nächste Schritt in der Wahl der Bombe
- CNN berichtete im Dezember 2023 unter Berufung auf eine Schätzung des US-Geheimdiensts, dass etwa 45 % der von der israelischen Luftwaffe in Gaza eingesetzten Munition ungelenkte Bomben (dumb bomb) seien
- Drei Geheimdienstquellen sagen, für die Tötung rangniedriger von Lavender markierter Akteure seien ausschließlich ungelenkte Bomben verwendet worden, um teurere Präzisionswaffen zu sparen
- Eine Quelle erklärte, wenn ein rangniedriges Ziel in einem Hochhaus wohnte, habe man es nicht angegriffen, weil man keine präzisere und teurere „floor bomb“ einsetzen wollte; wohnte es jedoch in einem Gebäude mit wenigen Stockwerken, sei ein Angriff mit ungelenkten Bomben genehmigt worden, auch wenn dadurch die Menschen im Gebäude mitgetötet würden
- Eine andere Quelle sagte, wegen des Systems seien die Ziele nie ausgegangen; wenn ein Angriff abgesagt wurde, sei sofort zum nächsten Ziel übergegangen worden
Toleranzschwellen für zivile Todesopfer
- Laut Quellen lag in den ersten Kriegswochen die zulässige Zahl ziviler Todesopfer pro durch das KI-System markiertem rangniedrigen Kämpfer fest bei 15 oder 20 Personen
- Dieser „collateral damage degree“ sei breit auf sämtliche mutmaßlichen rangniedrigen Kämpfer angewandt worden, unabhängig von Rang, militärischer Bedeutung oder Alter, ohne von Fall zu Fall den militärischen Nutzen gegen die erwarteten zivilen Schäden abzuwägen
- Ein Offizier in einem Target-Operations-Raum sagte, die militärische Völkerrechtsabteilung habe früher niemals ein solches Ausmaß an Kollateralschäden pauschal genehmigt
- Er sagte, jeder, der in den vergangenen ein bis zwei Jahren eine Hamas-Uniform getragen habe, habe ohne besondere Genehmigung zusammen mit 20 zivilen Kollateralopfern bombardiert werden können; tatsächlich habe es kein Verhältnismäßigkeitsprinzip gegeben
- Eine andere hochrangige Quelle erklärte, in der ersten Kriegswoche seien Kollateralschäden kaum berücksichtigt worden; später seien die Grenzen gesenkt und danach wieder angehoben worden
Ziele auf hochrangige Kommandeure und noch größere zivile Verluste
- Quellen sagen, die derzeitige Armee nutze die Methode, massenhaft rangniedrige human targets in zivilen Wohnhäusern zu erzeugen und zu bombardieren, inzwischen nicht mehr
- Einige meinten, Druck aus den USA habe eine Rolle gespielt
- Da viele Häuser im Gazastreifen bereits zerstört oder beschädigt seien und fast die gesamte Bevölkerung vertrieben worden sei, sei es schwieriger geworden, sich auf Geheimdienstdatenbanken und automatische Wohnhaus-Trackingprogramme zu stützen
- Andere Quellen sagen, die Massenbombardierung rangniedriger Akteure habe hauptsächlich in den ersten ein bis zwei Kriegswochen stattgefunden und sei danach eingestellt worden, um Bomben zu sparen
- Luftangriffe auf hochrangige Hamas-Kommandeure seien jedoch weitergegangen; in diesen Fällen habe das Militär laut Quellen Hunderte zivile Todesopfer pro Zielperson genehmigt
- In Bezug auf den Bombenangriff vom 2. Dezember auf den Kommandeur des Shuja’iya Battalion, Wisam Farhat, erinnerte sich eine Quelle, man habe gewusst, dass mehr als 100 Zivilisten sterben würden
- Es gibt auch Aussagen, dass am 17. Oktober im Flüchtlingslager Al-Bureij zur Tötung des Kommandeurs der Hamas Central Gaza Brigade, Ayman Nofal, der Tod von etwa 300 Zivilisten genehmigt worden sei und mehrere Gebäude zerstört wurden
- General Peter Gersten sagte 2021 einem US-Verteidigungsmedium, bei Einsätzen gegen ISIS liege ein Angriff mit Kollateralschäden von 15 Zivilisten außerhalb des normalen Verfahrens und habe damals eine Sondergenehmigung des Befehlshabers des US Central Command, Lloyd Austin, erfordert
Stimmung innerhalb des Militärs nach dem 7. Oktober
- Alle Quellen sagen, das Massaker der Hamas und die Geiselnahmen vom 7. Oktober hätten großen Einfluss auf die Feuerpolitik und die Toleranzschwellen für Kollateralschäden des israelischen Militärs gehabt
- Eine Quelle beschrieb die anfängliche Stimmung als schmerzhaft und von Vergeltung geprägt; die Regeln seien sehr locker gewesen
- Eine andere Quelle sagte, innerhalb der professionellen Organisation habe eine „Hysterie“ geherrscht, und da das Militär nicht gewusst habe, wie es reagieren solle, habe es begonnen, mit heftigen Bombardierungen die Fähigkeiten der Hamas zu zerschlagen
- Eine Geheimdienstquelle sagte, es habe zwar keine ausdrückliche Anweisung gegeben, dass „Rache“ das Ziel sei; wenn aber alle mit der Hamas verbundenen Ziele legitimiert und fast alle Kollateralschäden genehmigt würden, sei klar gewesen, dass Tausende Menschen sterben würden
- Das israelische Militär antwortete, jedes Ziel werde einzeln geprüft, der militärische Nutzen eines Angriffs und die erwarteten Kollateralschäden würden bewertet, und wenn die erwarteten Kollateralschäden im Verhältnis zum militärischen Nutzen übermäßig seien, werde nicht angegriffen
Automatisierung der Berechnung von Kollateralschäden
- Laut Quellen wurde auch die Berechnung der Zahl der Zivilisten, die zusammen mit einem Ziel in jedem Haus voraussichtlich sterben würden, mit automatisierten und ungenauen Werkzeugen durchgeführt
- In früheren Kriegen hätten Geheimdienstmitarbeiter viel Zeit darauf verwendet festzustellen, wie viele Personen sich in dem zu bombardierenden Haus befanden; diese Zahl sei in einer „target file“ festgehalten worden
- Seit dem 7. Oktober sei diese gründliche Verifikation weitgehend eingestellt und durch Automatisierung ersetzt worden
- Nach Darstellung der Quellen schätzte das Verfahren zunächst anhand der Gebäudegröße und der Bewohnerlisten die Zahl der Bewohner jedes Hauses vor dem Krieg und reduzierte diese Zahl dann entsprechend dem Anteil der aus dem Viertel evakuierten Menschen
- Wenn etwa geschätzt wurde, dass die Hälfte der Bewohner eines Viertels geflohen war, wurde ein Haus, in dem normalerweise 10 Menschen wohnten, mit 5 Personen angesetzt
- Um Zeit zu sparen, habe das Militär anders als bei früheren Einsätzen nicht durch tatsächliche Überwachung des Hauses geprüft, wie viele Personen sich aktuell darin befanden
- Eine Quelle sagte, dieses Modell habe keinen Bezug zur Realität gehabt; die vor dem Krieg registrierten Bewohner hätten nicht mit den Menschen übereingestimmt, die sich während des Kriegs tatsächlich im Haus befanden
- Dieselbe Quelle erklärte, das Militär habe diese Fehleranfälligkeit gekannt, sich aber wegen der höheren Geschwindigkeit dennoch für das ungenaue Modell entschieden
Fehlende Echtzeitverifikation und reduzierte Überprüfung nach Bombardierungen
- Zwischen dem Zeitpunkt, zu dem ein Tracking-System wie Where’s Daddy? die Rückkehr eines Ziels nach Hause meldete, und der tatsächlichen Bombardierung habe erhebliche Zeit liegen können; dadurch seien Fälle entstanden, in denen ganze Familien starben, obwohl das Ziel nicht anwesend war, sagen die Quellen
- Drei Geheimdienstquellen berichteten, sie hätten Fälle erlebt, in denen das israelische Militär Familienhäuser bombardierte und sich später herausstellte, dass sich die Zielperson gar nicht darin befand
- Eine Quelle sagte, mitunter sei bombardiert worden, weil das Ziel einige Stunden zuvor zu Hause gewesen sei; manchmal sei die Position erneut überprüft worden, manchmal nicht
- Eine andere Quelle sagte, um 20 Uhr habe man angenommen, das Ziel sei zu Hause, die Luftwaffe habe aber erst um 3 Uhr morgens bombardiert; in der Zwischenzeit sei die Zielperson mit der Familie in ein anderes Haus gezogen, und im bombardierten Gebäude hätten sich zwei andere Familien mit Kindern befunden
- In früheren Gaza-Kriegen sei nach der Tötung eines human target ein BDA-Verfahren zur Bewertung der Bombenschäden durchgeführt worden; im aktuellen Krieg sei dieses Verfahren bei Angriffen auf von der KI markierte mutmaßliche rangniedrige Kämpfer laut Quellen abgeschafft worden, um Zeit zu sparen
- Quellen sagen, bei Angriffen auf mutmaßliche rangniedrige Hamas- und PIJ-Ziele habe man weder die tatsächliche Zahl ziviler Todesopfer gekannt noch gewusst, ob die Zielperson selbst getötet worden sei
1 Kommentare
Hacker-News-Kommentare
Wissenschaftler wie Didier Bigo warnen schon seit Langem davor, Personen allein aufgrund einer indirekten Verbindung zu „Terroristen“ oder „Kriminellen“ ins Visier zu nehmen.
Ursprünglich wurde das im Kontext der durch die Snowden-Enthüllungen bekannt gewordenen Überwachung verwendet: Zielpersonen wurden etwa auf Menschen im Umkreis von bis zu drei Schritten von einer identifizierten Person ausgeweitet, wodurch rechtsstaatliche Verfahren oder der Sinn gezielter Überwachung ausgehöhlt wurden.
Jetzt werden solche AI-Systeme nicht mehr nur zur Überwachung eingesetzt, sondern tatsächlich dazu, Menschen zu töten.
Das humanitäre Völkerrecht verbietet es, Personen zu töten, die keine Kombattanten oder „Kämpfer“ einer bewaffneten Gruppe sind. Nur Personen mit einer „dauerhaften Funktion“, die „unmittelbar an Feindseligkeiten teilnehmen“, können jederzeit angegriffen werden.
Das heißt: Nur Mitglieder des bewaffneten Arms der Hamas können angegriffen werden; Rekrutierer, Waffenhersteller, Propagandisten, Finanzleute usw. müssen festgenommen oder vor Gericht gestellt werden. Andernfalls könnte selbst in einem regulären Krieg nahezu jeder Zivilist zum Ziel werden, etwa Bankangestellte, die dem Militär Kredite bereitgestellt haben.
Das Erschreckende an Lavender ist, dass es Israel ermöglicht, massenhaft Menschen ins Visier zu nehmen, die nach internationalem Recht vor Angriffen geschützt sind, und dafür nur eine dünne politische Rechtfertigung über Verbindungen zu Terroristen liefert.
https://www.icrc.org/en/doc/assets/files/other/icrc-002-0990...
Auch ein früher Computereinsatz im Deutschland des Zweiten Weltkriegs bestand darin, Listen von Menschen zu erstellen und zu verarbeiten, die in Konzentrationslager geschickt werden sollten. Der Unterschied heute besteht nur darin, dass sich viel mehr Daten viel schneller und in größerem Maßstab sammeln und verarbeiten lassen.
Natürlich wird alles als geheim eingestuft und der Zugang beschränkt, damit niemand nachbohren und Fragen stellen kann.
Im Guardian-Artikel sagte ein IDF-Sprecher, das System existiere, werde aber nur für elektronische Zwecke verwendet; das mag die ursprüngliche Absicht oder die Wahrnehmung der Führungsebene sein. In der Praxis dürfte es sich aber eher in Letzteres verwandelt haben.
Schließlich unterliegt der Großteil der Bevölkerung der Wehrpflicht in der IDF.
Das Völkerrecht erlaubt es, solche Infrastruktur anzugreifen, wenn der militärische Vorteil in einem angemessenen Verhältnis zu zivilen Todesopfern steht.
Daraus ergibt sich: Man darf die einzelnen Personen nicht gezielt angreifen, aber nach Völkerrecht ist es in Ordnung, das Gebäude anzugreifen, während diese Menschen darin sind, wenn der Angriff militärisch wertvoll ist.
Ich hätte nicht gedacht, dass ich einmal so weit denken würde, aber ich frage mich, ob die Menschen, die diese Software erstellt und entwickelt haben, wegen Mordes oder Verbrechen gegen die Menschlichkeit vor Gericht gestellt werden sollten.
Meinem Verständnis nach ist AI in ihrer heutigen Form eine Technologie, die in die Nähe solcher Einsatzzwecke überhaupt nicht gehören sollte.
Inferenzmodelle sind von Natur aus ziemlich nichtdeterministisch, wenn es darum geht, sie exakt auf ein gewünschtes bestimmtes Ergebnis hin zu bewerten, und selbst für geringe Genauigkeit benötigen sie große Trainingsdatenmengen. Solche Trainingsdaten existieren aber wahrscheinlich nicht, und das Ganze scheint auf einer riesigen Halluzination aufgebaut zu sein.
Ich wäre überrascht, wenn dieses AI-Modell auch nur zu 10 % korrekt wäre, und nicht überrascht, wenn es unter 1 % läge. Soweit ich gelesen habe, scheint Genauigkeit nicht einmal der zentrale Punkt zu sein.
Der Guardian-Artikel https://www.theguardian.com/world/2024/apr/03/israel-gaza-ai... hat mich sogar darüber nachdenken lassen, ob AI-Entwicklung überhaupt erlaubt sein sollte.
Diese konkrete Anwendung und ihre Rechtfertigung wirken auf mich wie einer der unverhohlensten Fälle vorsätzlichen Missbrauchs öffentlich bekannter Technologie. Ist das eine naive Einschätzung?
Dazwischen gibt es auch Dinge wie Entscheidungsbäume, die erklärbare Ergebnisse liefern.
„AI“ ist ein Instrument, um bestimmte genozidale Handlungen nachträglich zu rechtfertigen; tatsächlich ist es eher altmodisches wahlloses Abschlachten, getrieben von Wut und Rassismus.
Danach wird man behaupten, keine Verantwortung zu tragen, und den Geist in der Maschine verantwortlich machen.
So schlecht diese Geschichte Israel auch dastehen lässt: Sie liest sich dennoch wie ein Versuch, Verantwortung abzustreifen, nach dem Motto, man habe zumindest versucht, Kämpfer zu töten.
Dabei war von Anfang an klar, dass das Ziel darin bestand, Journalisten, medizinisches Personal und Menschen, die an der Verteilung von Hilfsgütern beteiligt sind, ins Visier zu nehmen und das Leben in Gaza unmöglich zu machen.
Wenn es eine Politik gegeben hätte, Journalisten, Helfer und medizinisches Personal absichtlich zu töten, wären die Opferzahlen deutlich höher.
Wer nicht erkennt, dass Hamas solche Rollen als operative Tarnung nutzt, ist entweder extrem naiv oder einseitig voreingenommen.
Ich will Israels Handeln nicht rechtfertigen; dieses Handeln ist chaotisch und falsch. Aber nach den bisherigen Belegen halte ich die ursprüngliche Behauptung für eindeutig falsch.
Dass wir darüber sprechen, ist wahrscheinlich kein Zufall; es wirkt wie eine Strategie, Israelis davon zu überzeugen, dass das Militär technisch überlegen ist und weiß, was es tut, also man nicht daran zweifeln soll.
Mit oder ohne KI hätten sie einen Genozid begangen und jedes humanitäre Völkerrecht verletzt, aber für diejenigen, die diesen Genozid noch immer für gerechtfertigt halten, kann das einen imagepolierenden Effekt haben.
Der Gedanke, dass KI dafür eingesetzt werden kann, Entscheidungen zu treffen, jemanden präventiv zu töten, ist beunruhigend.
Zum Beispiel könnten Computer bereits passiv Entscheidungen treffen, die Menschen töten, etwa bei der Navigation autonomer Fahrzeuge. In diesem Fall soll es zwar einen menschlichen Freigabeprozess gegeben haben, aber bis zu einer Situation, in der Roboter ohne menschliches Eingreifen Menschen töten, ist es nur ein Schritt – und von dort bis zur Handlung von Terminator ebenfalls nur einer.
Ich frage mich, was in solchen Fällen die Alternative ist. Von Militärstrategie verstehe ich kaum etwas, aber ich weiß nicht, ob Israel ohne KI weniger Ziele ausgewählt hätte oder einfach willkürlicher vorgegangen wäre.
Es scheint auch die Fehllektüre zu geben, nach der Israel, wenn es keine KI eingesetzt hätte, überhaupt keine Bomben abgeworfen hätte. Angesichts der Tatsache, dass Krieg herrscht, ist das eindeutig unwahrscheinlich. In Kriegen sterben Menschen, darunter Unschuldige, und genau deshalb verabscheuen alle Krieg und wollen, dass dieser Krieg so schnell wie möglich endet.
Diese fehlende Aufsicht wurde zugelassen, obwohl Lavender in internen Prüfungen nur eine Rechengenauigkeit von 90 % zugeschrieben wurde. Anders gesagt wusste man im Voraus, dass 10 % der als Mordziele markierten menschlichen Ziele keine Mitglieder der militärischen Organisation der Hamas waren.
Daher gab es keinen menschlichen Freigabeprozess. Die Politik selbst wurde wohl von jemandem befohlen, aber die fortlaufend erzeugten Mordziele wurden allein auf Grundlage der Vorhersagen des KI-Systems genehmigt.
Der Satz „um Zeit zu sparen und die Massenproduktion menschlicher Ziele ohne Hindernisse zu ermöglichen“ ist entsetzlich dystopisch.
Dann hätte man auch keine kleine KI gebraucht.
Dass die Alternative schlimmer sein könnte, mag vielleicht ebenfalls stimmen. Die Leute, die Lavender gebaut haben, könnten das womöglich sogar mit Daten belegen.
Dennoch muss es in jedem Fall den moralischen Druck geben, Menschen im Prozess zu halten. Solche Rechtfertigungsversuche werden nicht so viel öffentliche Aufmerksamkeit bekommen wie ein SkyNet-artiges Weltuntergangsszenario über den Köpfen der Zivilbevölkerung in Gaza.
Wenn man mit der Perspektive beginnt, keinen Torment Nexus zu bauen, wird es viel einfacher, keinen Torment Nexus zu bauen.
Viele werden nur die Überschrift lesen und weiterziehen, aber bitte lest den Artikel.
Der zweite Absatz lautet: „Neben der Beschreibung des Einsatzes eines KI-Systems namens Lavender sagten die Quellen, israelische Militärvertreter hätten zugelassen, dass besonders in den ersten Wochen und Monaten des Konflikts eine große Zahl palästinensischer Zivilisten getötet wurde.“
Ich empfehle, die aktuelle Staffel des Podcasts Serial komplett anzuhören.
„Es verarbeitete große Datenmengen, um potenzielle ‚niederrangige‘ Operative, die ins Visier genommen werden konnten, schnell zu identifizieren. Vier Geheimdienstquellen sagten, Lavender habe zu einem Zeitpunkt in der frühen Kriegsphase bis zu 37.000 palästinensische Männer aufgelistet, die vom KI-System mit Hamas oder PIJ in Verbindung gebracht wurden.“
Das unterscheidet sich nicht wesentlich davon, wie man 2001 Leute auswählte, die nach Guantanamo oder in noch geheimere Gefängnisse geschickt wurden, und anschließend deren Aufenthaltsorte bombardierte.
Vor allem wirkt es so, als würden Ingenieure im Militär – wie in der Unternehmenswelt – das KI-Buzzword übertreiben und im Grunde dasselbe tun, was sie schon vor KI getan haben.
Wenn man von einem PayPal-Konto Geld an ein als ISIS identifiziertes Konto schickt, steht bald eine amerikanische Drei-Buchstaben-Behörde vor der Tür. Nach den Aussagen der Nutzer klingt auch das genau nach diesem Muster. Ob ein Ort bombardiert wird oder nicht, entschied nicht die KI, sondern ein Mensch.
„NSA targets SIM cards for drone strikes, ‘Death by unreliable metadata’“
https://www.computerworld.com/article/2475921/whistleblower-...
„Wir waren nicht nur daran interessiert, [Hamas]-Aktivisten zu töten, wenn sie sich in einem Militärgebäude befanden oder an militärischen Aktivitäten beteiligt waren“, sagte Geheimdienstoffizier A. gegenüber +972 und Local Call.
„Vielmehr bombardierte die IDF sie ohne Zögern zu Hause, und das war die erste Option. Es ist viel einfacher, das Haus der Familie zu bombardieren. Das System ist dafür gebaut, sie in solchen Situationen zu finden.“
In Gaza leben rund 2 Millionen Zivilisten, von denen viele keinen Zugang zu Nahrung, Wasser, Medikamenten oder sicheren Zufluchtsorten haben. Einige dieser Unglücklichen wohnen über oder unter Hamas-Aktivisten und deren Familien.
Das läuft dann auf Dinge hinaus wie: „Oh, sorry lol“, „War nicht beabsichtigt lol, wirklich“, „Unsere Doktrin besagt, dass wir pro feindlichem Aktivisten X Zivilisten töten dürfen, also keine Sorge.“
Der Krieg in Gaza ist anders als die Ukraine. Dorfbewohner in der Ukraine und in Russland können sich von der Frontlinie auf die russische Seite oder nach Westen Richtung Galizien bewegen, und große Bevölkerungszentren werden dort auch nicht vollständig eingeebnet.
In Gaza scheint jeder jederzeit, aus jedem Grund oder auch ohne Grund sterben zu können. Israels „Strategie“ lässt sogar die Ukraine und Russland wie Vorbilder der Zurückhaltung und Zivilisation aussehen.
Allerdings zeigt dieser Krieg auch, dass Hamas sich nicht an die Regeln hält und sich viel zu nah an Zivilisten aufhält.
Ich frage mich, wie genau diese Technologie in der Praxis wirklich ist – oder ob man sich kaum für die Ergebnisse interessiert und eher für ein Hightech-Image.
Einerseits ist der Gedanke beängstigend, dass es so eine Technologie gibt; andererseits könnte der Output so verzerrt sein, dass er schlicht ein Haufen Müll ist.
Noch beängstigender ist der Hinweis, dass die Machthaber sich nicht für „Genauigkeit“ interessieren, sondern für eine Rechtfertigung, die ihre eigenen Vorurteile bestätigt. Das war schon immer so, aber dass es nun mit AI skaliert wird, macht es noch fataler.
Früher war die Zahl der Menschen, die lügen konnten, der begrenzende Faktor; jetzt ist es die Geschwindigkeit, mit der die magische Blackbox läuft.
Diese Person war unbewaffnet und hatte beruflich die Aufgabe, den israelischen Behörden mitzuteilen, wohin das Hilfsteam fahren würde, um den Weg freizumachen; ihre Familie in Großbritannien bestätigte den Tod. Daher stellt sich in so einer Situation ganz natürlich die Frage, wer diese gezielte Tötung genehmigt hat.
Auf Fotos nach dem Angriff ist zu sehen, dass eine Rakete das Fahrzeugdach durchschlug – ironischerweise direkt neben dem deutlich sichtbaren Logo der Lebensmittel-Hilfsorganisation auf dem Fahrzeug.
Der israelische Verteidigungsminister behauptet nun, es sei ein Fehler gewesen, doch laut der Untersuchung hätten die Einsatzregeln, wäre tatsächlich das vorgesehene Ziel getroffen worden, auch 15 bis 100 unbeteiligte Kollateraltote zulassen können.
Besonders dann, wenn schwer zu überprüfen ist, wie die „AI“ zu ihrem Ergebnis gekommen ist. Jetzt kann jeder zum Ziel werden.
Das ist ähnlich wie bei US-Polizisten, die sagen, sie hätten „Marihuanageruch wahrgenommen“, oder bei Spürhunden, die „angeschlagen“ hätten. Es liefert ein Mittel, um jede Durchsuchung – oder hier jede Tötung – zu rechtfertigen. Die Maschine läuft weiter und weiter.
2018 haben Google-CEO Sundar Pichai, SVP Diane Greene, SVP Urs Hölzle und Chefingenieur Jeff Dean ein System wie Lavender für das US-Militär gebaut. Es hieß Project Maven.
Das US-Militär wollte dieses System nutzen, um massenhaft Überwachungsaufnahmen von Drohnen auszuwerten und Verdächtige für Attentate in Pakistan auszuwählen. Zu diesem Zeitpunkt hatte es bereits Bomben auf Hunderte Häuser und Fahrzeuge abgeworfen und Tausende Verdächtige sowie deren Familien und Freunde getötet [0].
Damals arbeitete ich in Urs’ Google-Technical-Infrastructure-Abteilung. Ich las über das Projekt in den Nachrichten, und Urs log uns in einer entsprechenden Besprechung an, der Vertrag habe nur ein Volumen von 9 Millionen Dollar. Er war bereits auf 18 Millionen Dollar ausgeweitet worden und auf dem Weg zu 270 Millionen Dollar.
Urs und Jeff Dean versuchten, die Auswirkungen dessen, was sie getan hatten, herunterzuspielen. Jeff Dean blinzelte ständig, während er die Auswirkungen kleinredete; als er anfing, über die technischen Aspekte zu sprechen, hörte das Blinzeln plötzlich auf. In diesem Moment verlor ich jeden Respekt vor ihm und der Unternehmensführung.
Hervorragende Fähigkeiten in Engineering und Business bringen nicht automatisch eine reife Moral mit sich. Leider ist unsere Gesellschaft nicht so strukturiert, dass sie sicherstellt, dass Führungskräfte die nötige moralische Bildung erhalten – oder dass sie entfernt werden, wenn sie beim moralischen Urteilen völlig versagen.
[0] https://en.wikipedia.org/wiki/Drone_strikes_in_Pakistan
Auch der Guardian hat diese Geschichte auf die Titelseite gebracht und vor der Veröffentlichung Details erhalten.
https://www.theguardian.com/world/2024/apr/03/israel-gaza-ai...
Persönlich halte ich solche Geschichten für eine Angelegenheit von öffentlichem Interesse. Ich werde es nicht direkt einfordern, aber ich hoffe, dass die Flags aufgehoben werden und die Diskussion stattfinden kann.
Es wäre gut, wenn die Flags aufgehoben und die Threads zusammengeführt würden. Das scheint eine wichtige Geschichte über eine neue Nutzungsweise von Technologie zu sein.
[0] https://news.ycombinator.com/item?id=39917727