1 Punkte von GN⁺ 2024-04-07 | 1 Kommentare | Auf WhatsApp teilen
  • Die Identität des streng geheim gehaltenen Kommandeurs der israelischen Militäraufklärungseinheit Unit 8200 wurde durch digitale Spuren offengelegt, die in einem 2021 veröffentlichten Amazon-E-Book zurückblieben
  • Das unter dem Pseudonym Brigadier General YS veröffentlichte Buch enthielt eine anonyme E-Mail-Adresse, die zu einem Google-Konto auf den Namen Yossi Sariel sowie zu Maps- und Calendar-Profilen führte
  • Das Buch The Human Machine Team behandelt die Verbindung von Militärpersonal und KI und steht im Zusammenhang mit dem Bauplan für das KI-gestützte Zielvorschlagssystem, auf das die IDF während der ersten sechs Monate des Gaza-Kriegs angewiesen war
  • Die IDF erklärte, bei der betreffenden E-Mail handle es sich nicht um ein privates Konto, sondern um ein ausschließlich für das Buch genutztes Konto, räumte später jedoch ein, dass die Offenlegung von Sariels persönlichen Daten ein „Fehler“ gewesen sei, und kündigte eine Prüfung zur Verhinderung ähnlicher Vorfälle an
  • Die Enthüllung erhöht den Druck auf Sariel zusätzlich, während Unit 8200 wegen des Versagens, den Hamas-Angriff vom 7. Oktober 2023 zu verhindern, sowie wegen Kritik an technologischem Bias unter Verantwortungsvorwürfen steht

Offenlegung der Identität des Unit-8200-Kommandeurs

  • Die Identität des Kommandeurs von Israels Unit 8200 gilt selbst innerhalb des Militärs als eines der sensibelsten Geheimnisse
    • Unit 8200 ist als äußerst mächtige Überwachungsbehörde bekannt, die oft mit der US-amerikanischen NSA verglichen wird
    • Als Kommandeur wurde Yossi Sariel identifiziert, der mehr als 20 Jahre lang ohne öffentliche Bekanntheit tätig war
  • Sariels Identität wurde durch digitale Spuren offengelegt, die mit einem bei Amazon veröffentlichten Buch verknüpft waren
    • Eine im E-Book enthaltene anonyme E-Mail-Adresse führte zu einem Google-Konto, das auf Sariels Namen angelegt worden war
    • Mit diesem Konto waren eine eindeutige ID sowie Profil-Links zu Google Maps und Calendar verknüpft
  • Ein IDF-Sprecher erklärte, die E-Mail sei nicht Sariels private Adresse, sondern ein Konto ausschließlich für Angelegenheiten rund um das Buch
  • Später räumte die IDF gegenüber israelischen Medien ein, dass die Offenlegung persönlicher Daten ein „Fehler“ gewesen sei, und kündigte eine Prüfung an, um ähnliche Fälle künftig zu verhindern

The Human Machine Team und KI-Militärstrategie

  • Sariel veröffentlichte 2021 unter dem Pseudonym Brigadier General YS das Buch The Human Machine Team
    • Das Pseudonym besteht aus seinen Initialen
    • Laut mehreren bestätigten Quellen ist Sariel der nicht öffentlich genannte Autor des Buchs
  • Das Buch entwirft, wie KI die Beziehung zwischen militärischem Personal und Maschinen verändern kann
  • Sariel vertritt die Ansicht, dass maschinelles Lernen in modernen Kriegen nicht am Rand, sondern ins Zentrum rücken müsse
  • Die zentrale Richtung ist human-machine teaming, das eher auf Synergien zwischen Mensch und KI als auf vollständig autonome Systeme setzt
    • Zielgruppe sind hochrangige Militärkommandeure und Sicherheitsverantwortliche
    • Sariel soll nach einem Jahr als Visiting Researcher an der National Defense University in Washington DC mit Genehmigung der IDF das Buch geschrieben haben

Konzept einer KI-Zielmaschine

  • Ein Teil des Buchs behandelt das Konzept einer KI-basierten „targets machine
    • Dieses Konzept ähnelt der Beschreibung des Zielvorschlagssystems, das die IDF Berichten zufolge bei Bombardierungen in Gaza eingesetzt hat
  • Sariel ist der Ansicht, dass für den Aufbau einer effektiven Zielmaschine Big Data erforderlich sei, die das menschliche Gehirn nicht verarbeiten könne
    • Genannt werden als Beispiele Gefechtsfelddaten, Bevölkerungsdaten, visuelle Informationen, Handydaten, Social-Media-Verbindungen, Fotos und Mobiltelefonkontakte
    • Je mehr und je vielfältiger die Daten seien, desto besser
  • Die Zielmaschine verwendet komplexe Modelle, die in großer Zahl kleine Merkmale kombinieren, um Vorhersagen zu treffen
    • Beispiele sind Personen in denselben WhatsApp-Gruppen wie Mitglieder der Hezbollah, Personen, die alle paar Monate ein neues Handy erhalten, oder Personen, die häufig ihre Adresse wechseln
  • KI wird als Mittel dargestellt, Engpässe zu verringern, die durch menschliche Geheimdienstmitarbeiter oder Soldaten bei der Erstellung potenzieller militärischer Ziele entstehen
    • Suche nach neuen Zielen und Freigabeentscheidungen
    • Verarbeitung großer Datenmengen
    • Verknüpfung von Geheimdienstinformationen und Feuerkraft

KI-Systeme im Gaza-Krieg

  • Die IDF setzte unter Sariels Führung sechs Monate lang im Gaza-Krieg mehrere KI-basierte Entscheidungsunterstützungssysteme ein, die von Unit 8200 schnell entwickelt und verbessert worden waren
  • Zu den bekannt gewordenen Systemen gehören the Gospel und Lavender
    • Über beide Systeme berichteten das israelisch-palästinensische Medium +972 magazine, das hebräischsprachige Medium Local Call und der Guardian
  • Die IDF erklärte, die KI-Systeme dienten dazu, menschliche Geheimdienstoffiziere zu unterstützen
    • Menschliche Geheimdienstoffiziere müssten prüfen, ob militärische Verdächtige nach internationalem Recht legitime Ziele seien
    • Ein Sprecher erklärte, das Militär nutze verschiedene Werkzeuge und Methoden, darunter auch Tools, die Geheimdienstanalysten auf KI-Basis unterstützen

Kontroverse um Unit 8200 nach dem 7. Oktober

  • Sariels Sicherheitsfehler wurde öffentlich, während Unit 8200 dafür kritisiert wird, den Hamas-Angriff vom 7. Oktober 2023 nicht vorhergesehen oder verhindert zu haben
    • Bei dem Angriff töteten palästinensische bewaffnete Gruppen etwa 1.200 Israelis und entführten rund 240 Menschen
  • Unit 8200 galt einst innerhalb und außerhalb Israels als hoch angesehen und verfügte angeblich über Geheimdienstfähigkeiten auf dem Niveau des britischen GCHQ
    • Der Einheit wird zugeschrieben, einen groß angelegten Überwachungsapparat zur genauen Beobachtung der palästinensischen Gebiete aufgebaut zu haben
  • Nach dem Angriff wurde kritisiert, der technologische Hochmut von Unit 8200 habe traditionelle Methoden der Informationsgewinnung verdrängt
  • Die israelische Zeitung Maariv berichtete im Februar 2024 über interne Schuldzuweisungen innerhalb von Unit 8200 nach dem 7. Oktober
    • Sariel wurde nicht mit Namen, sondern als Kommandeur „Y“ von Unit 8200 bezeichnet
    • Kritiker sind der Ansicht, dass die Einheit unter Sariels Führung „süchtig machende und faszinierende“ Technologien priorisierte und so zur Katastrophe beitrug
  • Sariel soll Kollegen gesagt haben, der 7. Oktober werde ihn bis zu seinem letzten Tag verfolgen; im tiefsten Sinne übernehme er die Verantwortung und „wir haben verloren. Ich habe verloren.“

1 Kommentare

 
GN⁺ 2024-04-07
Hacker-News-Kommentare
  • Mich würde genauer interessieren, welcher Art der im Zitat erwähnte Sicherheitsfehler eigentlich war
    Ob Amazon einen Bug hat, durch den Selfpublisher die E-Mail-Adresse ihres Kontos offenlegen, oder ob beim Teilen von Inhalten aus Google Maps oder Google Calendar im Buch nicht bemerkt wurde, dass diese Funktionen die tatsächliche E-Mail-Adresse anzeigen

    • Aus diesem Satz und anderen Teilen des Artikels wirkt es so, als habe Amazon kaum etwas damit zu tun
      Es gab wohl ein Gmail-Konto, das eingerichtet wurde, um Feedback, Korrekturen, Rezensionen und Medienanfragen zu empfangen, und dieses sollte offenbar annähernd anonym sein, war aber anscheinend auf den echten Namen registriert
      Zumindest für Leute, die eine Antwort erhalten haben, war der Name sichtbar, und möglicherweise wurde er auch durch die Verknüpfung mit anderen Konten offengelegt
    • Das Buch wurde unter einem Pseudonym veröffentlicht, das aus Dienstgrad und Initialen bestand, und der Amazon-Klappentext lautet so:

      [pseudonym], an expert analyst, technology director, commander of an elite intelligence unit, and winner of the prestigious Israel Defense Prize for his artificial intelligence based anti-terrorism project
      Das preisgekrönte Verteidigungsprojekt und die Einheit, die es durchgeführt hat, sind in The Times of Israel öffentlich genannt
      Auch sein Dienstgrad und sein Name waren in früheren Artikeln bereits öffentlich bekannt
      In diesem Kontext waren das Google-Konto oder Amazon nicht besonders wichtig, um den General mit dieser Einheit in Verbindung zu bringen

    • Ich frage mich, was mit der eindeutigen ID in „Leck einer E-Mail-ID mit eindeutiger ID“ gemeint ist
      Ob das etwas wie eine Personenkennziffer, eine militärische Kennnummer oder ein anderer Identifikator ist, weiß ich nicht
  • Hier scheint es kein Sicherheitsversagen zu geben
    Manche Menschen verwenden ein Pseudonym, um ihre echte Identität zu verbergen, andere, um ihre öffentliche Persona von ihrem Privatleben zu trennen
    Dieser Fall gehört eindeutig eher zur zweiten Kategorie
    Er hat das Buch mit einer Kombination aus seinen Initialen und Hinweisen auf seinen Beruf veröffentlicht, und dass er die E-Mail nicht ernsthaft zu verbergen versuchte, wirkt in diesem Zusammenhang nur folgerichtig
    Das ist kaum bemerkenswerter, als wenn berichtet würde, man habe den echten Namen von JJ Lehto herausgefunden
    Wenn ich noch einmal darüber nachdenke, ist es zugleich ein Kampfname und ein Pseudonym

  • Operationssicherheit ist schwierig
    Und ganz gleich, wie optimistisch man die Möglichkeiten von AI einschätzt: AI zu verwenden, um zu entscheiden, wen man tötet, ist schrecklich und eindeutig unethisch
    Dadurch werden grausame Handlungen ohne klare Verantwortlichkeit möglich
    Schon die Tatsache, dass dieser Mann überhaupt anonym war, wirkt wie ein Zeichen dafür, dass Verantwortlichkeit nicht das Ziel war

    • The Guardian hat vor ein paar Tagen mehr über den Einsatz von AI durch die IDF berichtet, und das ist düster:
      https://www.theguardian.com/world/2024/apr/03/israel-gaza-ai...
      Allerdings kommt in diesem Artikel der Großteil des Erschreckenden von den menschlichen Bedienern
      Es scheint eine ziemlich starke Gleichgültigkeit zu geben, wenn es darum geht, Gründe für Misstrauen gegenüber der Maschine zu suchen
    • Absolute Aussagen sind schwierig
      Dem Gefühl „Es ist unethisch, mit AI zu entscheiden, wen man tötet“ stimme ich zu, aber eine so starke Aussage kann ich nicht vollständig mittragen
      Wenn es zum Beispiel eine Gruppe von 10 Menschen gibt, die Zielentscheidungen trifft, und AI die Arbeitslast verringert, sodass diese 10 länger nachprüfen können, dann wäre das auch ein Fall von „AI nutzen, um zu entscheiden, wen man tötet“, aber das Ergebnis könnte sich sogar verbessern
      Das Problem ist, dass Menschen in der Realität die Verantwortung wahrscheinlich auf die Maschine abschieben und mit den Schultern zucken
    • Leider und widerlich genug ist fehlende Verantwortlichkeit für manche Regierungen ein Verkaufsargument
    • Wie viel Technik in den Entscheidungsprozess für physische Angriffe eingebracht werden darf, ist ethisch vertretbar?
      Ich glaube nicht, dass sich diese Frage sauber beantworten lässt, ohne dass die Antwort zu einfach wird
    • Das beseitigt Verantwortung keineswegs
      Im Gegenteil: Genau solche Kommentare und Denkweisen ermöglichen es, Verantwortung zu umgehen
      Es gibt Menschen, die sich für den Einsatz von AI entscheiden, und diese Menschen müssen die Verantwortung tragen
      Wenn sie diese Verantwortung nicht tragen können, sollten sie AI nicht einsetzen
  • Selbst wenn seine Identität offengelegt wird, ist das nicht besonders wichtig
    Bei einer Person auf Direktorenebene wird ohnehin alles, was sie tut, stärker wahrgenommen, und sie kann sich nicht verstecken
    Im militärischen Bereich wird die Identität hochrangiger Offiziere nicht geschützt, weil sie das Militär repräsentieren
    Niedrigrangige und mittlere Soldaten sowie sonstiges Personal dagegen müssen immer geschützt werden, weil sie Befehle ausführen und das tatsächliche Risiko tragen
    Es wäre zwar besser gewesen, wenn seine Identität nicht öffentlich geworden wäre, weil er auf Reisen einem Attentatsrisiko ausgesetzt sein könnte, aber ehrlich gesagt ist das keine große Story
    Wahrscheinlich erzeugt es nur hasserfüllte Kommentare aus antiisraelischen Gruppen

    • Wenn er das Buch 2021 unter dem auf Initialen basierenden Pseudonym „Brigadier General YS“ veröffentlicht hat, sieht es nicht so aus, als hätte er seine Identität wirklich verbergen wollen
    • Der letzte Absatz ist eine seltsame Interpretation
      Oberflächlich betrachtet hat er versucht, seine Identität zu verbergen, und ist dabei ziemlich spektakulär gescheitert, weshalb es überhaupt zum Thema eines Artikels wurde
  • Das Buch ist hier:
    https://www.amazon.com/Human-Machine-Team-Artificial-Intelli...

    • Der Autor wird als „Brigadier General Y.S“ genannt, daher ist es nicht besonders schwer, auf Yossi Sariel zu schließen
  • Persönlich interessiert mich seine Identität nicht, aber der Artikel behandelt auch den Inhalt des von ihm veröffentlichten Buches, und das ist deutlich interessanter

  • Yossi Sariels raffinierter Zug des 4D-Schachs
    Sieht so aus, als wolle er unter dem Vorwand eines Fehlers ohne formellen Rücktritt aus dem Amt ausscheiden.
    Dieser „Fehler“ gibt seinen Vorgesetzten einen Vorwand, ihn loszuwerden, während er zugleich dem 7. Oktober entkommt.

    • Jeder Fehler lässt sich als „raffinierter Zug des 4D-Schachs“ verkaufen, wenn man nur darauf beharrt, dass man es nicht vermasselt hat und wir bloß das große Ganze nicht sehen.
      Wenn man sich anschaut, was seit dem 7. Oktober passiert ist, wirkt keine der beiden Seiten besonders fähig, irgendeine Form von Strategie zu entwickeln.
      Von „raffiniertem 4D-Schach“ ganz zu schweigen.
    • Das Buch ist allerdings vor 3 Jahren erschienen.
      Soll das heißen, er habe damals absichtlich diesen Fehler gemacht, um sich drei Jahre später einen Ausweg ohne Rücktritt zu schaffen?
    • Zumal das Buch selbst von Anfang an öffentlich unter den Initialen YS veröffentlicht werden sollte.
      Es wirkt nicht so, als hätte er es wirklich geheim halten wollen.
    • Das eigentliche 4D-Schach besteht darin, ein ideologisches Führungsmanual für den gerade stattfindenden computerisierten Massenmord zu schreiben und dann durch einen einfachen Rücktritt jeder Verantwortung zu entgehen.
    • Er könnte doch einfach zurücktreten und Zivilist werden; warum sollte er absichtlich wie ein Idiot wirken wollen?
      Wenn er gewollt hätte, hätte er auch zum Whistleblower wie Snowden werden können.
  • Irgendwie beruhigend zu wissen, dass so etwas selbst für Experten schwierig ist.

  • „Sariels Kritiker meinen, dass die Bevorzugung von Technik, die in Unit 8200 ‚süchtig machender und aufregender‘ war als traditionellere Methoden der Informationsbeschaffung, zur Katastrophe geführt habe“
    Nutzen sie dort auch Kubernetes und die neuesten Frontend-Frameworks?

    • Tief im Berg Sinai gibt es in einem geheimen IDF-Bunker ein schreckliches Geheimnis.
      Es ist eine riesige useEffect()-Schleife, die alle Killerroboter einzeln über hartkodierte Namen steuert.
      Für Forschung an Memoization war noch kein Budget da, deshalb läuft es etwas langsam, aber auf ausreichend starker Hardware war es okay.
      Die ballistischen Berechnungen laufen komplett in WebGL und haben in den letzten Jahren den weltweiten GPU-Mangel verursacht.
      Manchmal wird die Viewport-Größe falsch gesetzt, was Kollateralschäden verursacht :(
      Israels nächstes KI-Projekt hat daraus gelernt, setzt auf bewährte Methoden und wird komplett in CSS geschrieben.
    • Kubernetes ist inzwischen eine alte, unbeholfene Technologie.
      Die passendere Metapher wäre, Senior-Entwickler zu entlassen, Junioren mit ChatGPT-Abos einzustellen und dann zu erwarten, dass die Entwicklungsgeschwindigkeit massiv steigt.
    • Oder nein, sie sind auf Serverless umgestiegen.
      Sie kompromittieren zufällige Computer in Kellern und schicken kleine Funktionen dorthin zur verteilten Verarbeitung.
      Die Daten sind so klein, dass sich unmöglich rekonstruieren lässt, was sie tun.
      Sowjetisches SETI@HOME.
      Ohne es zu wissen, verarbeitest du ihre Daten.
      Das Einzige, was du tun kannst, ist, dein System zu formatieren, um die Backdoor loszuwerden, und zu hoffen, dass es reicht.
  • Operationssicherheit ist schwierig.
    Selbst wenn 99.999-mal alles richtig läuft, ist es bei einem einzigen Fehler vorbei.

    • Kann man es wirklich noch Operationssicherheit nennen, wenn man bei einem selbstverlegten Amazon-Buch seine Initialen angibt?