Warum ich Google DeepMind verlassen habe
(turntrout.com)- Alexander Matt Turner, ehemaliger Research Scientist bei Google DeepMind, kündigte, weil er es mit seinem Gewissen nicht vereinbaren konnte, dass Google Cloud-Dienste für DHS und ICE bereitstellt und mit dem US-Verteidigungsministerium einen Vertrag abgeschlossen hat, der autonome tödliche Waffen und großflächiges AI-Profiling nicht verbindlich verbietet
- Als das US-Verteidigungsministerium von Anthropic einen Vertrag für „alle rechtmäßigen Zwecke“ verlangte, der bestehende Beschränkungen aufheben sollte, bat Turner IASEAI und bekannte AI-Forschende um eine gemeinsame Reaktion und erreichte intern bei Google rund 250 Unterschriften sowie Jeff Deans Beteiligung an einem Amicus-Brief
- Er verfasste ein 25-seitiges Vertrags- und Aufsichts-Framework, das vorsah, dass Menschen die Anwendung von Gewalt kontrollieren und nicht zielgerichtetes AI-Profiling verboten wird; doch selbst nachdem Demis Hassabis eine Prüfung angeordnet hatte, wurde es von hochrangigen Policy-Verantwortlichen nicht bewertet
- Google schloss im April 2026 einen Vertrag, nach dem das US-Verteidigungsministerium Änderungen an den Sicherheitseinstellungen von Gemini verlangen kann und Google rechtmäßige Regierungsoperationen nicht ablehnen darf; die Formulierung, man solle autonome Waffen und großflächige Überwachung im Inland vermeiden, war rechtlich nicht bindend
- Er kam zu dem Schluss, dass persönliche ethische Zusagen oder Vertrauen in die Führung allein nicht ausreichen, um unter Druck Prinzipien zu wahren, und dass daher eine Governance auf Basis geringen Vertrauens mit Vorab-Beschränkungen, unabhängiger Prüfung und Transparenz nötig ist
Der Ausgangspunkt: die DHS- und ICE-Lieferkette
- Nachdem DHS-Beamte im Januar 2026 mindestens zwei Menschen getötet hatten, untersuchte Turner die Beziehungen zwischen Google und Einwanderungsbehörden
- Das DHS 2025 AI Use Case Inventory führt Google als einen der Anbieter generativer AI auf, die zur Verbesserung der operativen Effizienz des DHS eingesetzt wird
- Google verkauft über Drittanbieter wie ITC Federal Cloud-Dienste an ICE
- Auch andere Handlungen von Google kritisierte er
- Am 3. Oktober 2025 entfernte Google eine App aus den Listings, die vor ICE-Aktivitäten warnte
- Google übergab das Konto eines studentischen Demonstranten ohne vorherige Benachrichtigung an ICE und brach damit das Service-Versprechen, vor der Offenlegung von Informationen an die Regierung eine E-Mail zu senden
- Google antwortete, Einwanderungsbehörden hätten lediglich kommerzielle Cloud-Dienste genutzt; Turners Kritikpunkt war jedoch nicht, ob besondere Dienste bereitgestellt wurden, sondern die Tatsache, dass ICE Dienste bereitgestellt wurden
- Da große Petitionen bereits ignoriert worden waren, hielt er Sit-ins, Streiks und Massenkündigungen für wenig praktikabel und wenig wirksam
- In der AI-Branche könnten wenige schwer ersetzbare Talente großen Einfluss auf eine Organisation haben; daher ging er davon aus, dass die mögliche Abwanderung von zehn Schlüsselpersonen oder auch nur von Jeff Dean für die Führungsebene höhere Kosten verursachen könnte als 100 zufällige Research Engineers
Erster Kontakt mit Jeff Dean
- Jeff Dean ist Googles 30. Mitarbeiter, Chief Scientist und Co-Leiter des Gemini-Projekts; er hatte ICE öffentlich kritisiert und 2018 auch eine Selbstverpflichtung gegen autonome tödliche Waffen unterzeichnet
- Turner wandte sich am 9. Februar 2026 direkt an Jeff und sagte, er wolle dabei helfen, Google aus der DHS-Lieferkette herauszulösen
- Jeff antwortete, es sei sinnvoll, eine E-Mail an Sundar Pichai, Demis Hassabis und Thomas Kurian zu schicken
- Turner übermittelte den drei CEOs die folgenden Punkte, erhielt jedoch keine Antwort
- Es gehe nicht um Parteipolitik, sondern um ICEs Verletzung rechtsstaatlicher Verfahren, die Inhaftierung von Bürgern, unzureichend überwachte Einrichtungen und Menschenrechtsverletzungen
- Cloud und Gemini dürften solche Operationen weder über direkte Verträge noch über Drittintegratoren unterstützen
- Die Zusammenarbeit mit DHS und ICE schaffe nicht nur Menschenrechtsprobleme, sondern auch Reputationsrisiken für den Anbieter
- Anschließend bat er Jeff um ein Mittagessen, um zu besprechen, wie sich innerhalb von Google echte Veränderungen erreichen ließen; einige Wochen später wurde ein Termin vereinbart
Druck des US-Verteidigungsministeriums auf Anthropic
- Am 25. Februar 2026 verlangte das US-Verteidigungsministerium von Anthropic, die Beschränkungen des bestehenden Vertrags aufzuheben und Claude für „alle rechtmäßigen Zwecke“ bereitzustellen
- Die bestehenden Beschränkungen betrafen tödliche autonome Waffen sowie AI-gestützte Überwachung und Profiling
- Bei einer Weigerung drohte es, einen Vertrag über 200 Millionen Dollar zu kündigen, Anthropic als Lieferkettenrisiko einzustufen und die Bereitstellung per Defense Production Act zu erzwingen
- Turner sah im Kriterium „rechtmäßige Zwecke“ zwei Probleme
- Wie im Fall, in dem das US-Verteidigungsministerium Überlebende eines Schiffbruchs erneut angriff, können auch Handlungen, die unabhängige Rechtsexperten als mögliche Kriegsverbrechen bezeichnen, von der Regierung selbst als rechtmäßig eingestuft werden
- Auch großflächige Überwachung und AI-Profiling können in den Bereich des Rechtmäßigen fallen, weil bestehende Überwachungsgesetze nicht mit AI als Voraussetzung verfasst wurden
- Eine Einstufung als Lieferkettenrisiko hätte, anders als eine gewöhnliche Vertragsablehnung, alle Militärdienstleister dazu bringen können, die Nutzung von Anthropic einzustellen, und damit die wirtschaftliche Existenz des Unternehmens bedroht
- Später urteilte Richter Lin, diese Einstufung sei „eine klassische rechtswidrige Vergeltung nach dem First Amendment“
Bitte an IASEAI und AI-Koryphäen um gemeinsame Reaktion
- Turner nahm an einer Veranstaltung der International Association for Safe and Ethical AI (IASEAI) im UNESCO-Hauptquartier in Paris teil
- IASEAI wurde 2024 mit dem Ziel gegründet, eine vereinte Stimme für sichere und ethische AI zu schaffen; zu den Arbeitsgruppen 2026 gehörten die Red Lines for Advanced AI, die sich mit autonomen Waffen und Eskalation befassten
- Die Hunderte Teilnehmenden vor Ort diskutierten statt des Anthropic-Vorfalls desselben Tages abstrakte Koordinationsprobleme wie Public-Choice-Theorie
- Er bat einflussreiche Forschende um eine öffentliche Reaktion
- Yoshua Bengio bat er um eine Erklärung zur Vertragsfreiheit von Anthropic und gegen unregulierte autonome tödliche Waffen; dieser antwortete jedoch, sein Büro werde keine Erklärung abgeben
- Da Geoffrey Hinton remote teilnahm, erwog er eine Kontaktaufnahme über Bengio oder Stuart Russell
- Stuart Russell bat er um eine Erklärung im eigenen Namen und im Namen von IASEAI sowie um die Mobilisierung interner AI-Experten
- Stuart versprach, Bengio und Hinton einzubinden und eine Abstimmung unter den IASEAI-Mitgliedern zu eröffnen, um das Ergebnis zum Abschluss der Veranstaltung bekanntzugeben
Die verschwundene IASEAI-Abstimmung und Erklärung
- Bei der Abschlussveranstaltung nannte Stuart das Vorgehen des US-Verteidigungsministeriums ein „Schutzgelderpressungssystem (extortion racket)“ und sagte, er werde eine Mitgliederabstimmung über die These anstoßen, dass Anthropic nicht gezwungen werden dürfe, seine Produkte für unerwünschte Zwecke bereitzustellen
- Bei einer Abstimmung per Handzeichen vor Ort gab es nahezu einstimmige Unterstützung für eine IASEAI-Erklärung zugunsten der Vertragsfreiheit von Anthropic
- Der damalige Plan war, bis Donnerstagabend eine Umfrage laufen zu lassen; bei einer Zustimmung von zwei Dritteln sollte Stuart im Namen von IASEAI unterzeichnen, andernfalls eine persönliche Erklärung veröffentlichen
- Turner zahlte 75 Dollar Mitgliedsbeitrag, um an der Abstimmung teilnehmen zu können, doch die Umfrage wurde nie eröffnet und IASEAI gab keine Erklärung ab
- Die von IASEAI angeführten Gründe änderten sich immer wieder
- Es werde mehr Zeit benötigt, um die Erklärung zu verfassen
- Es sei unklar, auf welche Prinzipien man sich stützen solle
- Es gebe Vor- und Nachteile, sich in den Nachrichtenstrom zu Anthropic und dem US-Verteidigungsministerium einzuklinken
- Man wolle sich darauf konzentrieren, interne Verfahren für ähnliche Situationen zu verbessern
- Da Anthropic eine eigene Erklärung veröffentlicht habe, sei eine IASEAI-Erklärung nicht mehr nötig
- Auch nach Anthropics Frist am Freitag zog sich der Rechtsstreit noch wochenlang hin, und der Google-Vertrag wurde zwei Monate später abgeschlossen; daher sah Turner ausreichend Zeit für IASEAI, sich mit einer Erklärung, einem Amicus-Brief oder Kontakten zu Entscheidungsträgern bei Google einzubringen
- Turner bat Stuart mehrfach, statt einer öffentlichen Erklärung zumindest privat Googles Führung zu kontaktieren oder ihn lediglich vorzustellen, erhielt jedoch keine Antwort
- IASEAI erstattete auf Anfrage den Mitgliedsbeitrag zurück; der am selben Ort abgehaltene Workshop zu roten Linien für AI nannte als größtes Hindernis den politischen Willen
OpenAI-Vertrag und Stimmung innerhalb von Google
- OpenAI erklärte beim Abschluss eines Vertrags mit dem US-Verteidigungsministerium, es werde Beschränkungen für autonome Waffen und groß angelegte Überwachung wie bei Anthropic schützen; einige Analysen kamen jedoch zu dem Schluss, dass die Vertragsformulierung weitreichende Schlupflöcher enthält
- Turner forderte in einem internen Diskussionskanal von Google DeepMind zu aktuellen Themen dazu auf, sich mit Anthropic zu solidarisieren und „alle rechtmäßigen Zwecke“ abzulehnen; eine Nachricht erhielt mehr als 125 zustimmende Reaktionen
- Die internen Posts verfolgten mehrere Ziele
- Die organisatorischen Kosten für die Führung erhöhen, wenn sie schweigt
- Strategische Argumente über einen Kanal vermitteln, den hochrangige Verantwortliche lesen
- Ein gemeinsames Bewusstsein schaffen, dass Mitarbeitende, die sich mit dem Vertrag unwohl fühlen, nicht allein sind
- Die Schlupflöcher des OpenAI-Vertrags teilen, damit Mitarbeitende ähnliche Schutzformulierungen nicht akzeptieren, wenn sie vorgeschlagen werden
- Einen Weg schaffen, über den Mitarbeitende indirekt signalisieren können, dass sie bei Abschluss des Vertrags kündigen könnten
- Da er davon ausging, dass Google eine direkte Organisierung in großen internen Kanälen ungern sieht, kontaktierte er Personen, die reagiert hatten, privat
Petition mit 250 Personen und Amicus-Brief für Anthropic
- Er sah Jeff als einen der wenigen Führungskräfte mit sowohl ethischem Verständnis als auch tatsächlichem Einfluss und konzentrierte sich darauf, ihn zum handelnden Akteur zu machen und die Unterstützung der Mitarbeitenden sichtbar zu bestätigen
- Zusammen mit Freunden sammelte er innerhalb von ein bis zwei Tagen rund 250 Unterschriften von Mitarbeitenden bei Google DeepMind und Research und übergab sie Jeff
- Die Unterzeichnenden baten ihn, alles in seiner Macht Stehende zu tun, um Verträge zu verhindern, die grundlegende rote Linien überschreiten
- Er bewertet es als Fehler, dass die ursprüngliche Petition das Problem der anlasslosen Überwachung von Nicht-US-Bürgern ausklammerte, weil man damit vor den Verhandlungen selbst etwas preisgegeben habe, das man eigentlich wollte
- Als Anthropic gegen die Einstufung als Lieferkettenrisiko durch das US-Verteidigungsministerium klagte und eine einstweilige Verfügung beantragte, bereitete Protect Democracy einen Amicus-Brief von KI-Fachleuten vor
- Turner unterzeichnete den Brief und bat Kolleginnen und Kollegen sowie Jeff um Beteiligung; auch Jeff unterzeichnete öffentlich
- Von 18 Unterzeichnenden bei Google DeepMind warb Turner 8 an
- Jeff war als C-Level-Führungskraft die einzige Führungsperson, die öffentlich anders handelte als Googles Schweigen
- Er geht davon aus, dass die Unterschriften von Google-Mitarbeitenden beim US-Verteidigungsministerium die Sorge auslösten, auch Google könne sich künftig aus Verträgen zurückziehen, und dadurch teilweise zur Verzögerung der Verhandlungen beitrugen
- Er bat auch Googles Rechtsabteilung, einen Amicus-Brief einzureichen, mit dem Argument, wenn man zulasse, dass die Regierung Anthropic unter Druck setze, könne sie dieselbe Drohung später auch gegen Google einsetzen; Google beteiligte sich jedoch nicht, während Microsoft einen Amicus-Brief einreichte
Optimismus der Führung und Möglichkeit eines Vertragsabschlusses
- Während des gesamten März 2026 sagten hochrangige Führungskräfte, auch die Unternehmensleitung erkenne das Problem, weshalb Google keinen Vertrag über „alle rechtmäßigen Zwecke“ unterzeichnen werde
- Turner kam zu dem Schluss, dass Google wahrscheinlich nachgeben würde, wenn niemand für die Führung tatsächliche Kosten schaffe
- In einem Memo mit Quellenangaben führte er folgende Gründe an
- Google hatte bereits in Situationen mit geringerem Risiko Druck nachgegeben, etwa indem es Informationen über studentische Demonstrierende freiwillig an ICE weitergab
- Der Anteil von Regierungsaufträgen ist groß
- Die KI-Prinzipien von Google DeepMind wurden von konkreten Verboten zu vagen Formulierungen abgeschwächt
- Kartellrechtliche Probleme und die Prozessbilanz des aktuellen Justizministeriums erzeugen zusätzlichen Druck auf Google
- Obwohl er dieses Memo mehrfach teilte, glaubt er, hochrangige Mitarbeitende nicht überzeugt zu haben
Um Jeff herum vorbereitete Verhandlungsstrategie
- Jeff hatte 2018 eine Selbstverpflichtung unterzeichnet, sich nicht an „Entwicklung, Herstellung, Handel oder Einsatz autonomer tödlicher Waffen zu beteiligen oder diese zu unterstützen“, und bestätigte 2026 öffentlich erneut, dass sich seine Haltung nicht geändert habe
- Er erklärte, groß angelegte Überwachung verletze den vierten Verfassungszusatz und die Meinungsfreiheit und könne politisch sowie diskriminierend missbraucht werden; KI-gestützte Massenüberwachung von US-Amerikanern wolle er nicht
- Turner kam zu der logischen Konsequenz, dass Jeff kündigen müsse, um seine Selbstverpflichtung einzuhalten, falls Google einen uneingeschränkten Vertrag unterzeichnet
- Er bereitete ein Szenario vor, in dem Jeff Sundar Pichai mitteilt, dass er bei Vertragsabschluss nicht bleiben könne
- Die Petition mit 250 Personen zeigt die Unterstützung der Mitarbeitenden
- Er sicherte zudem Unterstützung mehrerer hochrangiger Mitarbeitender, die bereit wären, gemeinsam zu handeln, falls Jeff eine Grenze zieht
- Eine Koalition aus mehreren Personen könnte durch Boni oder individuelle Überzeugungsversuche gespalten werden, daher beruhte die tatsächliche Strategie auf dem Einfluss einer einzigen Person: Jeff
- Da eine vage Forderung wie „schließt keinen schlechten Vertrag ab“ zu einem Vertrag führen könnte, der nur oberflächlich verbessert ist, bereitete er eine konkrete Alternative vor
25-seitiges Framework für militärische KI
- Turner nutzte Urlaub und schrieb in seiner Freizeit 25 Seiten Vertragsformulierungen und Governance-Struktur, die er von Fachleuten für Militär- und Überwachungsrecht prüfen ließ
- Ein Rechtsexperte für die Integration von Mensch und KI im Kampf bewertete das Framework als „tatsächlich ziemlich gut“ und schlug Verbesserungen vor
- Bei der Bereitstellung von KI für Institutionen, die wie Regierungen Zwangsgewalt ausüben, werden zwei Standards angewendet
- Menschliche Kontrolle über den Einsatz von Gewalt
- Verhindert, dass KI in Systemen eingesetzt wird, die Ziele auswählen und angreifen, ohne bei jedem Gefecht angemessene menschliche Kontrolle sicherzustellen
- Gilt auch, wenn nur KI-Komponenten für die Zielerfassungskette bereitgestellt werden
- Verlangt rechtliche Transparenz zur Bestätigung rechtmäßiger Einsatzweisen sowie die Prüfung durch gemeinsam vereinbarte neutrale Auditoren
- Beschränkt Abfangverteidigung, Informationsanalyse nach dem zweiten Standard, Logistik sowie Forschung und Entwicklung nicht
- Verbot nicht zielgerichteter KI-Profiling-Verfahren
- Verhindert, dass Massendaten in Informationen über Personen umgewandelt werden, die nicht bereits ein konkret bestimmtes Untersuchungsziel sind
- Eine Analyse einzelner Personen darf nicht allein auf Basis demografischer Merkmale oder politischer Äußerungen begonnen werden
- Eine vertiefte Untersuchung einer Person darf nicht allein auf Basis von KI-Ausgaben gestartet werden
- Zielgerichtete Analysen, aggregierte Forschung und Analysen von Konfliktgebieten zur besseren Schutzwirkung für Nichtkombattanten sind erlaubt
- Menschliche Kontrolle über den Einsatz von Gewalt
- Ein siebenköpfiges Defense AI Review Body sollte vom Chief Scientist ernannt und beaufsichtigt werden
- Der Cloud werden 2 der 7 Sitze zugewiesen
- Mitarbeitende treten nur bei Verträgen in den Ausstand, an denen sie selbst beteiligt waren
- Verzögerungen durch Prüfungen werden auf höchstens 10 Tage begrenzt
- Die Beratungen sind durch das Anwalts-Mandanten-Privileg geschützt
- Die Befugnisse des Review Body bleiben beratend, doch Fälle, in denen Empfehlungen ignoriert wurden, werden in einen jährlichen Transparenzbericht aufgenommen, der allen KI-Mitarbeitenden zur Verfügung steht
- Zur Auflösung der Organisation wären eine Vorabmitteilung und die genaue Offenlegung ungelöster Verstöße erforderlich, sodass sie sich nicht wie die Prinzipien von 2018 stillschweigend entkräften ließe
- Wenn der Congress ein Gesetz verabschiedet, das die betreffende Nutzung substantiell reguliert, können der Chief Scientist und eine überwältigende Mehrheit des Review Body die Standards außer Kraft setzen
- Wenn „alle rechtmäßigen Zwecke“ verlangt werden, ist das Framework so gestaltet, dass ein Rechtsmemo zur Rechtmäßigkeit der geplanten Nutzung angefordert wird und Nutzungen abgelehnt werden, die die Unternehmensstandards nicht erfüllen
- Angesichts der Möglichkeit, dass die Vertragspartner Einwände erheben, enthält es auch weniger wichtige Klauseln, die in Verhandlungen aufgegeben werden könnten, etwa eine Eskalation an das Board von Alphabet
Mittagessen mit Jeff und der Vorschlag an Demis
- Am 17. März 2026 traf ich Jeff in Mountain View und schlug ihm vor, das Review Body zu leiten, doch Jeff lehnte ab
- Vertrauliche Gespräche wurden nicht ohne Erlaubnis zitiert; als überprüfbares öffentliches Verhalten bleibt, dass Jeff den Unterstützungsbrief für Anthropic unterzeichnete, aber auch nach Abschluss des Google-Vertrags im Unternehmen blieb
- Da Jeff das Framework nicht anführte, sanken die Erfolgschancen deutlich, und als nächster Weg wurde Demis Hassabis gewählt
- Als DeepMind 2014 von Google übernommen wurde, erhielt das Unternehmen die Zusage, AI nicht für militärische oder Waffenzwecke einzusetzen; 2018 beteiligten sich zudem die Mitgründer und die Organisation selbst an einer Erklärung gegen autonome tödliche Waffen
- Nachdem Turner eine Woche lang versucht hatte, den Vorschlag über die Managementstruktur weiterzuleiten, schrieb er Demis am 1. April 2026 direkt
- Demis wies zwei hochrangige Verantwortliche für die Google-DeepMind-Policy an, das Framework zu bewerten
- Die beiden antworteten zunächst nicht und leiteten es später an untergeordnete Zuständige weiter
- Diese Zuständigen waren dem Framework gegenüber positiv eingestellt, sagten aber, eine Antwort könne Monate dauern
- Da das Memo des US-Verteidigungsministeriums vom 9. Januar allen AI-Auftragnehmern eine Frist von 180 Tagen bis zum 8. Juli setzte, um Verträge für „alle rechtmäßigen Zwecke“ zu akzeptieren, passte eine monatelange Prüfung nicht zur Lage
- Turner bot an, für Fragen und Antworten von San Francisco nach London zu reisen, doch die hochrangigen Policy-Verantwortlichen antworteten erneut nicht
- Er war unzufrieden mit einem Verfahren, bei dem trotz der Anweisung des CEO zur Prüfung keine Bewertungsergebnisse übermittelt wurden; zugleich ließ er die Möglichkeit offen, dass es unbekannte legitime Gründe dafür gab
Googles still abgeschlossener Vertrag mit dem US-Verteidigungsministerium
- Durch einen Bericht vom 27. April 2026 wurde bekannt, dass Google einen geheimen AI-Vertrag abgeschlossen hatte
- Turner unterzeichnete zusammen mit rund 600 weiteren Mitarbeitenden auch einen Brief an Sundar, in dem gefordert wurde, den geheimen AI-Vertrag abzulehnen
- Die zentralen Formulierungen des Vertrags lauteten wie folgt
- Das US-Verteidigungsministerium darf Google AI für „alle rechtmäßigen Regierungszwecke“ nutzen
- Auf Anfrage der Regierung muss Google bei der Anpassung von AI-Sicherheitseinstellungen und Filtern unterstützen
- Enthalten war eine Formulierung, dass die Technologie nicht für groß angelegte inländische Überwachung oder autonome Waffen ohne angemessene menschliche Aufsicht eingesetzt werden sollte
- Gleichzeitig wurde festgehalten, dass Google kein Recht hat, rechtmäßige staatliche Operationen zu kontrollieren oder abzulehnen
- Da „should not“ kein verbindliches Verbot ist, wertete er dies als rein formale Reaktion auf ethische Bedenken
- Google informierte intern nicht über den Vertragsabschluss; Turner erfuhr um 23:45 Uhr in einer Signal-Gruppe davon
- Es gab auch den Fall, dass Google sich nach einer internen Ethikprüfung aus einer Ausschreibung über 100 Millionen Dollar für sprachgesteuerte autonome Drohnenschwärme zurückzog
- Positiv bewertete er, dass es in einigen Geschäftsbereichen tatsächlich funktionierende Ethikprüfungen gibt
- Beim Vertrag für „alle rechtmäßigen Zwecke“ kann Google jedoch nicht wissen, wofür Gemini tatsächlich eingesetzt wird, sodass schwer zu bewerten ist, ob der Nutzen den Schaden deutlich überwiegt
- Unter Verweis auf den Fall, dass selbst der CEO von Anthropic sagte, er wisse nicht, welche Rolle Claude bei der Bombardierung iranischer Mädchenschulen gespielt habe, betonte er den Mangel an Transparenz nach der Bereitstellung
Die Veränderung der AI-Prinzipien, die angeblich unverändert blieben
- Demis sagte, die Welt sei gefährlicher geworden und man könne den Sieg demokratischer Werte nicht als selbstverständlich ansehen, weshalb man mit Regierungen zusammenarbeiten müsse
- Er erklärte, Googles Grundprinzip bestehe darin, sorgfältig zu beurteilen, ob der Nutzen das Schadensrisiko deutlich überwiege; auch die Achtung des Völkerrechts und der Menschenrechte habe sich nicht geändert
- Turner kam zu dem Schluss, dass ein Maßstab nach dem Motto „wir beurteilen es, nachdem wir die Lage gesehen haben“ kein vorab eingegangenes Versprechen ist, das auch unter Druck gilt, und daher kaum als Prinzip gelten kann
- Die Google AI Principles von 2018 hielten ausdrücklich fest, dass Google keine Waffen entwickeln oder einsetzen werde, deren Hauptzweck darin besteht, Menschen zu verletzen, und keine Überwachung, die international anerkannten Normen widerspricht
- Aufgrund dieser Prinzipien zog sich Google 2018 aus der Ausschreibung für den JEDI-Vertrag im Umfang von 10 Milliarden Dollar zurück
- Die von Demis mitverfasste Überarbeitung vom 4. Februar 2025 entfernte die konkreten Verbote zu Waffen und Überwachung
- Die Entfernung der Verbotsklauseln und die Aussage „die Prinzipien haben sich nicht geändert“ können nicht zugleich wahr sein; als Turner diese Unstimmigkeit an seinem letzten Arbeitstag in einem internen Kanal teilte, äußerten viele Mitarbeitende Enttäuschung
Regierungszusammenarbeit und unbegrenzte Zugeständnisse sind unterschiedliche Entscheidungen
- Selbst wenn man die Prämisse akzeptiert, dass westliche Demokratien autonome Waffen übernehmen müssen, um autoritären Staaten entgegenzutreten, hielt er es nicht für die einzige Option, alle Forderungen des US-Verteidigungsministeriums zu akzeptieren
- Mit Anwendung des Military AI Governance Framework ließen sich für den Wettbewerb mit China notwendige Nutzungen erlauben und zugleich unethische Einsätze begrenzen
- Selbst wenn der Vertrag erzwungen wurde, hätte Google seinen Einfluss nutzen können, um vom Congress rechtliche Schutzmechanismen zu verlangen; daher war die Annahme eines unbegrenzten Vertrags eine Entscheidung
Persönliches Vertrauen und institutionelle Governance
- Demis ist der Ansicht, dass Strukturen wie ein unabhängiger Vorstand oder eine Sicherheitscharta in entscheidenden Momenten möglicherweise nicht richtig funktionieren, und bevorzugt statt klarer vorab gezogener Grenzen den Ansatz, innerhalb von Google Vertrauen aufzubauen und am Entscheidungstisch zu sitzen
- Diese Philosophie entstand, nachdem Sundar in Verhandlungen abgelehnt hatte, DeepMind als halbautonome Organisation abzuspalten
- Turner entgegnete, dass das System die Menge an erforderlichem Vertrauen reduzieren müsse
- Auch Einzelpersonen sind entscheidendem Druck ausgesetzt und können noch schlechtere Anreize haben, etwa Aktienanteile, soziale Beziehungen zu Kolleginnen und Kollegen oder ein mit dem Unternehmen verbundenes Selbstbild
- Das Framework trifft nur eine einzige Vertrauensannahme: dass der Chief Scientist vernünftig handelt, bis er das Review Body einsetzt; danach schafft es durch Verträge und Transparenz gerechtfertigtes Vertrauen
- Selbst wenn es ungerechte Verträge nicht vollständig verhindern kann, fügt es deren Durchsetzung Reibung und öffentliche Kosten hinzu
- Demis saß bei allen relevanten Verträgen am Entscheidungstisch, doch der finale Vertrag enthielt keine einzige verbindliche Klausel, die die ethischen Bedenken der Mitarbeitenden widerspiegelte
- Turner räumte ein, dass möglicherweise noch schlechtere Ergebnisse verhindert wurden, doch die tatsächlichen Vertragsbedingungen lagen nahe an der vorhersehbaren Untergrenze und waren sogar schwächer als die Bedingungen von OpenAI
- Auch der Google-DeepMind-Forschungswissenschaftler Andreas Kirsch kam in „Trust is not Governance“ unabhängig zum selben Schluss
Das Scheitern des Governance-Experiments von Google DeepMind
- Google DeepMind wurde unter der Prämisse an Google verkauft, dass es ein Verbot der Waffennutzung und eine halbautonome Governance-Struktur geben würde, doch Sundar lehnte die unabhängige Struktur ab
- Auch die 2018 durch Druck der Mitarbeitenden entstandenen AI-Prinzipien wurden später geschwächt, als die Führung die konkreten Verbote zu Waffen und Überwachung entfernte
- Bei Google DeepMind setzten sich Umsatz- und politischer Druck gegen ethische Zusagen durch, während Anthropic unter demselben Druck die bestehenden roten Linien beibehielt
- Er gelangte nicht zu dem Schluss, dass niemand Prinzipien einhält, sondern dass die Gesellschaft sich nicht darauf verlassen kann, dass ethische Einzelpersonen bis zum Ende standhalten
- Selbst wenn der Congress nicht wirksam reagiert, sollte man aufhören zu glauben, dass Sicherheit allein dadurch garantiert ist, dass Führungskräfte „am Entscheidungstisch sitzen“
Die verbleibenden Optionen für Unterzeichner
- Jeff Dean, Demis Hassabis, Shane Legg und andere hatten zugesagt, die Entwicklung, Herstellung, den Handel und den Einsatz autonomer tödlicher Waffen nicht zu unterstützen, blieben aber im Unternehmen, nachdem Google dem Militär AI bereitgestellt hatte, ohne das Recht, die Nutzung einzuschränken
- Gegen die Deutung, der Vertrag habe autonome Waffen nicht ausdrücklich erlaubt, sondern lediglich nicht verboten, wandte er ein, dass Verantwortung nicht verschwindet, wenn man sich die Augen verbindet, um den Einsatzort nicht zu kennen
- Er kam zu dem Schluss, dass es mit der Zusage kollidiert, weiter bei einem Unternehmen zu bleiben und AI zu entwickeln, das die beste AI baut, sie einem Militär bereitstellt, das autonome tödliche Waffen einsetzen will, und sogar auf das Recht verzichtet, die Nutzung einzuschränken
- Für die Unterzeichner gebe es drei ehrliche Optionen
- Öffentlich erklären, wie das Bleiben mit der Zusage vereinbar ist
- Erklären, dass sie diese Zusage nicht länger unterstützen, und die Gründe dafür nennen
- Das Unternehmen verlassen
- Wenn selbst bei einer klaren Verbotslinie keine einzige verbindliche Klausel erreicht wurde, ist die Begründung schwach, man bleibe, um „von innen positiv zu steuern“
- Wenn man das klarste Versprechen bricht und dennoch nichts unternimmt, sinkt auch die Glaubwürdigkeit des nächsten Sicherheitsversprechens, und am Ende werden Versprechen selbst wertlos
Das Schweigen der führenden Köpfe der AI-Ethik
- Die Verantwortung verteilt sich ungleich auf Pete Hegseth und Donald Trump, die das US-Verteidigungsministerium unter Druck setzten, Sundar Pichai, der den Vertrag abschloss, und Jeff Dean, der seinen Einfluss nicht stärker nutzte
- Turner ist besonders enttäuscht über die anhaltende Untätigkeit hochrangiger AI-Experten, die ihre ethischen Verpflichtungen öffentlich betont hatten
- Geoffrey Hinton war sehr enttäuscht darüber, dass Google seine Zusagen zu militärischer AI zurückgenommen hat, und vermutet, dies könne daran gelegen haben, dass man befürchtete, die aktuelle Regierung werde Google benachteiligen
- Stuart Russell und Hinton waren im Allgemeinen keine passiven Persönlichkeiten
- Stuart warnte seit Langem öffentlich vor existenziellen AI-Risiken und autonomen tödlichen Waffen
- Hinton verließ in den 1980er-Jahren die USA aus Protest gegen die Finanzierung militärischer AI und verließ 2023 Google, um frei über AI-Risiken sprechen zu können
- Im September 2025 unterzeichneten mehr als 300 Personen, darunter 15 Nobel- und Turing-Preisträger, den Global Call for AI Red Lines; auch Stuart, Bengio, Hinton und Mark Nitzberg unterstützten Verbote von Massenüberwachung und autonomen tödlichen Waffen
- Zwar wurden abstrakte Prinzipien unterzeichnet, doch als es im Februar 2026 zu einem realen Konflikt zwischen Unternehmen und Regierung kam, veröffentlichte IASEAI keine Stellungnahme
- Die Deutung, man habe politisches Kapital für wichtigere Momente aufgespart, könnte erklären, warum öffentliche Stellungnahmen vermieden wurden, erklärt aber nicht, warum sogar Hilfe mit geringen Kosten – etwa private Kontakte zu Google-Entscheidern – verweigert wurde
- Jeff verdient als einziger Google-Manager, der öffentlich handelte, Respekt, doch Turner ist der Ansicht, dass er größeren Einfluss hätte ausüben können, um den Vertrag zu verhindern
Internes Handeln über die Grenzen der eigenen Rolle hinaus und Kündigung
- Ein typischer „Responsible Research Scientist“ hätte seine Bedenken wohl getwittert und seinem Manager geschrieben, doch Turner war der Meinung, dass nur ein Plan, der Wirkung entfalten kann, als Handlung Wert hat
- Er legte ein Foto von Alex Pretti als Handy-Benachrichtigung fest und hielt die Angst aus, indem er sich an Fälle erinnerte, in denen ICE Menschen erschoss und aus ihren Häusern holte
- Er wählte nicht den üblichen Weg, zu einem anderen führenden AI-Labor zu wechseln und einen hohen Bonus zu erhalten
- Auch eine Kontaktaufnahme des Sicherheitsteams von OpenAI lehnte er ab
- Zum Zeitpunkt seines Austritts hatte er keine andere Stelle
- Seit Februar hielt er es für wahrscheinlich, dass Google den Vertrag abschließen würde; ohne tatsächlichen Vertrag wäre er aber möglicherweise noch einige Monate geblieben
- Als der Vertrag abgeschlossen wurde, hatte er das Gefühl, nicht mehr arbeiten zu können, und kam zu dem Schluss, dass das Büro – wie einst die Schule – kein Ort mehr war, an den er gehörte; deshalb kündigte er
Erwartete Einwände und Antworten
- Man kann Einzelpersonen nicht allein dafür kritisieren, dass sie einem bestimmten Vorschlag nicht gefolgt sind; wenn hochrangige Ethik-Führungspersonen jedoch in irgendeiner Form gehandelt hätten, hätte sich aus Turners Sicht eine sichtbare Wirkung im Ergebnis zeigen müssen
- Wenn Jeff tatsächlich mit einer Kündigung gedroht und entschieden widersprochen hätte, wäre aus Turners Sicht mindestens eine verbindliche Klausel in den finalen Vertrag aufgenommen worden
- Nicht jeder ist verpflichtet, sich zu jedem Thema zu äußern; anders liegt der Fall jedoch, wenn man eine Mitgliederabstimmung zusagt und dann absagt oder den Widerstand gegen autonome tödliche Waffen zu einem wichtigen Teil der eigenen Identität macht und im entscheidenden Moment schweigt
- Turner stimmt zu, dass das US-Verteidigungsministerium einen vorgeschlagenen Rahmen möglicherweise abgelehnt hätte
- Andere Anbieter wie xAI hätten AI bereitgestellt
- Wenn Google sich jedoch mit Anthropic und OpenAI zusammengeschlossen oder die Forderungen des US-Verteidigungsministeriums abgelehnt hätte, hätte es die Anpassung der Tech-Branche in eine unabhängige Reaktion verwandeln können
- Wenn das US-Verteidigungsministerium abgelehnt hätte, hätte auch Google aus dem Vertrag aussteigen können; Jeffs Einfluss blieb daher weiterhin wichtig
- Das US-Verteidigungsministerium bezeichnete seine Verträge mit Amazon Web Services, Google, Microsoft, NVIDIA, OpenAI, Reflection, Oracle und SpaceX als „Antworterklärung“ auf den Konflikt mit Anthropic und betonte, große Tech-Unternehmen unterstützten das Militär und alle rechtmäßigen Verwendungszwecke
Existenzielle AI-Risiken und militärische Bereitstellung
- Turner geht davon aus, dass glaubwürdige Sicherheitsargumente von Google DeepMind für fortgeschrittene AI wahrscheinlich stark auf die im Frontier Safety Framework behandelte Überwachung von Gedankengängen (chain of thought) angewiesen sind
- Eine fehl-ausgerichtete AI kann täuschen, ohne schädliche Absichten direkt offenzulegen, um ihre Abschaltung zu vermeiden; die Untersuchung von Gedankengängen ist eine der wichtigsten Methoden, um dies zu erkennen
- Für Überwachung braucht es geschulte menschliche Aufseher, die auf Daten zugreifen und sie analysieren können, doch geheime militärische Rechenzentren sind von Googles kommerzieller Infrastruktur isoliert
- Damit ist nicht gemeint, dass Google-Mitarbeiter militärische Operationen lesen müssten; problematisch ist vielmehr, dass es wahrscheinlich keine entsprechend geschulten Militäringenieure gibt, die diese Überwachung grundsätzlich durchführen könnten
- Ohne Überwachung von Täuschung in Gedankengängen wird es schwieriger, die Möglichkeit zu kontrollieren, dass AI der Menschheit durch Ränke, Täuschung und Machtübernahme katastrophalen Schaden zufügt
- Militärische Bereitstellungsumgebungen können zugleich schwach beaufsichtigt sein und Zugang zu mächtigen Entscheidungsträgern und Infrastruktur bieten, wodurch sie zu einer lohnenden Zielumgebung für bösartige AI werden können
- Turner hofft, dass das Militär und US CAISI die Expertise, Sorgfalt und Kontrollverfahren entwickeln, um bösartige AI zu überwachen und einzudämmen
Die Grenzen der Erklärung „wir bieten nur API-Zugang“
- Die Unternehmensführung sagt, der API-Zugang zu kommerziellen Modellen zu branchenüblichen Bedingungen sei eine verantwortungsvolle Art, die nationale Sicherheit zu unterstützen
- Normaler API-Zugang vermittelt den Eindruck, dass Anfragen an die Server des Anbieters gesendet werden und der Anbieter die Nutzung überwachen kann
- Bei geheimen Operationen können Klartextanfragen nicht an Google-Server gesendet werden; Turner vermutet daher, dass es sich um einen On-Premises-Ansatz handelt, bei dem Gemini-API-Endpunkte in einem isolierten Regierungs-Cloud-Cluster bereitgestellt werden
- In diesem Fall kann die Formulierung „nur API-Zugang“ technisch korrekt sein, vermittelt aber den falschen Eindruck, Googles zentrale Überwachung sei möglich, und löst die Probleme autonomer Waffen, von Kriegsverbrechen und großflächigem Profiling nicht
- Abgesehen von Anthropic habe nach Turners Einschätzung auch Google dazu beigetragen, dass solche Bedingungen zum Branchenstandard werden
1 Kommentare
Hacker-News-Kommentare
Respekt vor TurnTrouts Entscheidung, trotz Drucks nach dem zu handeln, was er für richtig hält. Damit die Menschheit in den gravierenden Gefangenendilemmata der nächsten 20 Jahre bessere Entscheidungen trifft, braucht es mehr kluge Menschen wie ihn.
Ich hatte auch Forschern gegenüber eine negative Sicht, weil ich der Meinung war, dass die AI-Branche die kollektive Arbeit anderer ignoriert, daraus Wert extrahiert und ihn weiterverkauft. Durch diesen Fall ist mein Respekt vor AI-Forschern aber etwas gestiegen. Auch wenn TurnTrout diesem Frame nicht vollständig zustimmt, ist es erfreulich, dass er an seinen ethischen Prinzipien festgehalten hat.
Ich bin eingetreten, um an AGI-Sicherheitsforschung zur Verringerung existenzieller Risiken durch AI zu arbeiten, und habe Arbeiten, die direkt die reine Leistungsfähigkeit von Gemini erhöhen, bewusst vermieden. Damals habe ich einen für mich passenden Kompromiss gewählt; es ist aber legitim, diese Entscheidung zu kritisieren.
Ich habe Microsoft verlassen, weil das Unternehmen mit Israel und der IDF zusammengearbeitet hat, unter anderem bei der Überwachung von Palästinensern und der Aufzeichnung sämtlicher Telefonate. Microsoft hat später einige Maßnahmen zurückgenommen, aber auch Satya ist nicht frei von Verantwortung.
https://www.theguardian.com/world/2025/sep/25/microsoft-bloc...
Der Beitrag beschreibt den Anthropic-Vorfall nicht ganz korrekt. Emil Michael, Unterstaatssekretär für Forschung und Entwicklung im US-Verteidigungsministerium, erklärte im All-In-Podcast, Dario habe während der Verhandlungen wiederholt gesagt: „Ruft mich an, wenn es nötig ist; dann können wir jedes Mal die Grenzen festlegen.“
In einem groß angelegten Konflikt, der sich innerhalb von 30 Minuten nach dem Start einer ICBM entfalten kann, kann eine nationale Sicherheitsorganisation nicht jedes Mal Dario anrufen und um Erlaubnis bitten. Emil scheint zu dem Schluss gekommen zu sein, dass Dario über ein Vetorecht auf Einzelpostenebene die letzte Kontrolle behalten wollte und diese Befugnis unter Umständen sogar über das Überleben der Nation stellen könnte. Aus Sicht militärischer Beschaffung ist es plausibel, ein solches Verhalten zu dokumentieren und unter bestimmten Umständen mit anderen Behörden zu teilen; Datenbanken zur Erfassung problematischen Verhaltens von Auftragnehmern gibt es bereits.
Dass All-In ein Emil gegenüber wohlgesonnener Rahmen war, ist klar, aber gerade weil keine Zeit damit verschwendet wurde, Angriffe abzuwehren, konnte man meiner Ansicht nach detailliertere Sachverhalte hören.
Relevante Stelle: https://www.youtube.com/watch?v=gzwRflcLPAA&t=2479
Auftragnehmer-Datenbank: http://www.ppirs.gov/
Emil war bei Uber dafür zuständig, politische Gegner zu diffamieren und zu zerstören; es gibt keinen Grund anzunehmen, dass er heute anders handelt.
Menschen, die an ihren Prinzipien festhalten, sind viel zu selten geworden.
Es ist beeindruckend, wie TurnTrout nach seinen Prinzipien lebt. Ich weiß nicht, ob ich diesen Mut oder dieses Selbstvertrauen hätte; das steht im Kontrast zu klugen Menschen, die sich entscheiden, bei Firmen wie Palantir zu arbeiten, und darauf stolz sind.
Das ähnelt auch einer Kriegsdienstverweigerung aus Gewissensgründen gegenüber der Kriegsmaschinerie und dem Finanzsystem des Imperiums, das sie braucht. Selbst mit der Autorität, direkt bei Google DeepMind gearbeitet zu haben, werden die Menschen kaum zuhören, denn in Kriegszeiten überlagern Wahnsinn und Geld Logik und Vernunft.
So wie nach Snowden nicht massenhaft Five-Eyes-Mitarbeitende gekündigt haben, finden die meisten Gründe, sich nicht gegen Unterdrückung zu stellen. Dass der Autor als Vegetarier in einer fleischzentrierten Gesellschaft bereits allein an Prinzipien festgehalten hat, könnte eine Übung für eine größere Gewissensverweigerung gewesen sein.
Wer eine Hypothek, Kinder, Autokredite und ausgereizte Kreditkarten schultern muss oder kurz vor dem Ruhestand steht, kann schwer öffentlich Widerstand leisten; jüngeren Menschen fehlt möglicherweise die Sprache, um ihre Haltung auszudrücken. Für langfristigen Einzelaktivismus, der der Macht die Wahrheit sagt, braucht es auch ausreichend wirtschaftliche Unabhängigkeit.
Wir stehen besonders auch jenen tief in der Schuld, die nicht als Whistleblower anerkannt wurden, weil die Medien mehr ihre persönliche Lage behandelten als den Kern des Problems. Dieser erste Schritt ähnelt der klassischen Heldenreise: Nachdem der Ruf zunächst abgelehnt wurde, betritt man eine außergewöhnliche Welt und kehrt mit etwas zurück, das allen zugutekommt.
Es ist respektabel, an seinen Überzeugungen festzuhalten, aber ich frage mich, warum man keine intelligenten KI-Waffen will. Ist eine integrierte KI, die unbewaffnete Zivilisten von militärischen Zielen unterscheiden kann, nicht eine verantwortungsvollere Wahl als eine konventionelle Mine, die einfach irgendetwas in die Luft jagt?
So wie ich einer LLM-basierten Maschine keine Narkose bei einer Operation überlassen möchte, will ich auch militärische Systeme, die über Leben und Tod von weit mehr Menschen entscheiden, im aktuellen Zustand nicht haben. Selbst wenn man der Technologie zur Waffenbedienung in Zukunft wirklich vertrauen könnte, entstünden neue philosophische Fragen: ob Krieg selbst überhaupt notwendig ist und welche Motivation diese der AGI nahekommende Technologie hat.
Für ungerechtfertigte Tötungen müssen Menschen verantwortlich sein, doch bei KI-Waffen ist es viel zu leicht, Verantwortung zu vermeiden: „Es war ein Fehler des Algorithmus, in Version 23 wird es verbessert.“ Integriert man KI in Waffen, ist der Weg bis zum vollautomatischen Töten sehr kurz.
Bei Empfehlungen extremistischer Inhalte, der Fehlidentifikation schwarzer Menschen und männerlastigem Recruiting wurde die Verantwortung immer auf den „Algorithmus“ geschoben. Weil das, was solche Systeme tatsächlich tun, faktisch ihr Zweck ist, werden Versuche, rechtliche Verantwortung ausdrücklich festzuschreiben, meist verzweifelt umgangen.
Ich habe bei Google gearbeitet, aber die Aussagen zu KI-Ethik waren keine Versprechen, sondern Täuschung. Google hält, wie viele andere Unternehmen, mit fein orchestrierter Desinformation und Halbwahrheiten die Konzentration und Motivation der Mitarbeitenden aufrecht.
Auch die Aussage, man „höre auf die Stimmen der Mitarbeitenden“, stimmt nur, solange es keine geschäftlichen Auswirkungen hat und das Unternehmen damit gut aussehen kann. Sobald auch nur ein wenig politischer oder wirtschaftlicher Widerstand entsteht, hört man nicht mehr zu. Ich schätze den Autor sehr dafür, dass er für Veränderung gekämpft hat, aber Googles Dark Patterns sitzen zu tief, um sie mit dem höflichen Austausch von Whitepapers und E-Mails auszurotten.
Obwohl der Beitrag erst vor 1 Stunde veröffentlicht wurde und über 200 Punkte bekommen hat, ist er von der HN-Startseite verschwunden.
Google ist ein opportunistisches Unternehmen, das nach Trumps Wahl seine DEI-Politik abgeschafft hat, und diese Politik war ohnehin nie ernst gemeint. Dieser Versuch war etwas naiv und musste scheitern, aber KI-Militärprodukte werden vermutlich ebenfalls kaum richtig funktionieren, außer beim Sprengen von Mädchenschulen.
Es sieht so aus, als würden CEOs Schlange stehen, um Hassabis’ Regulatory-Capture-Vorhaben zu unterstützen.
https://xcancel.com/sundarpichai/status/2077086951833063580#...
https://xcancel.com/satyanadella/status/2077063479232795024#...
https://xcancel.com/elonmusk/status/2077415601610297535#m
Das ist ihr geschlossener Kreis, und wir gehören nicht dazu.
Die meisten, die GOOG, MSFT, META usw. halten, wollen nur, dass ihr 401(k) steigt, statt sich dafür zu interessieren, wie die Renditen entstehen; das System ist von Anfang an so konstruiert.