OpenAI über seine Vereinbarung mit dem US-Verteidigungsministerium

• Mit dem US-Verteidigungsministerium (DoD) wurde ein Vertrag über den Einsatz fortschrittlicher KI-Systeme in geheimen Umgebungen geschlossen; zugleich wurde darum gebeten, dieselben Vertragsbedingungen auch für alle anderen KI-Unternehmen gelten zu lassen
• Die Vereinbarung legt drei Red Lines fest: OpenAI-Technologie darf nicht für massive inländische Überwachung, die direkte Steuerung autonomer Waffensysteme oder hochriskante automatisierte Entscheidungen eingesetzt werden
• Es wird ein Cloud-only-Deployment genutzt, wobei OpenAI die vollständige Kontrolle über den Safety-Stack behält und sicherheitsfreigegebene OpenAI-Mitarbeitende in den Prozess eingebunden sind
• OpenAI erklärt, die Vereinbarung enthalte stärkere Guardrails als bestehende Verträge etwa von Anthropic, und schließe Edge-Device-Deployments aus, um eine Nutzung speziell für autonome Waffen zu verhindern
• Betont wird die Notwendigkeit einer demokratischen Kooperationsordnung zwischen KI-Unternehmen und Regierung; zudem wurde die Regierung gebeten, auch Konflikte mit Anthropic zu lösen

---

Hintergrund und Ziel des Vertrags

• Es wurde ein Vertrag mit dem US-Verteidigungsministerium über den Einsatz fortschrittlicher KI-Systeme in geheimen Umgebungen geschlossen; zugleich wurde darum gebeten, dieselben Bedingungen auch anderen KI-Unternehmen anzubieten
• Angesichts der Bedeutung von KI-Technologie vertritt OpenAI die Position, dass es eine enge Zusammenarbeit zwischen demokratischen Verfahren und KI-Forschung braucht
• Wer die USA verteidigt, solle über die besten Werkzeuge verfügen; zugleich bestehe das Bewusstsein, dass diese Technologie neue Risiken für die Welt schaffen kann

Drei Red Lines

• Verbot der Nutzung von OpenAI-Technologie für massive inländische Überwachung (mass domestic surveillance)
• Verbot der Nutzung von OpenAI-Technologie zur direkten Steuerung autonomer Waffensysteme (autonomous weapons systems)
• Verbot der Nutzung von OpenAI-Technologie für hochriskante automatisierte Entscheidungsfindung (z. B. Social-Credit-Systeme)
• Im Gegensatz zu anderen KI-Laboren, die Safety-Guardrails reduzieren oder entfernen und sich nur auf Nutzungsrichtlinien stützen, hält OpenAI einen mehrschichtigen Schutzansatz für wirksamer

Zentrale Bestandteile des Vertrags

• Deployment-Architektur

  • Cloud-only-Deployment mit einem von OpenAI direkt betriebenen Safety-Stack
  • Modelle ohne Guardrails oder ohne Safety-Training werden nicht bereitgestellt
  • Edge-Device-Deployments sind ausgeschlossen, um eine mögliche Nutzung in autonomen tödlichen Waffen zu verhindern
  • Verstöße gegen die Red Lines können unabhängig überprüft werden; Classifier können ausgeführt und aktualisiert werden

• Vertragsklauseln

  • Das Verteidigungsministerium darf die KI-Systeme für alle rechtmäßigen Zwecke nutzen, die mit geltendem Recht, operativen Anforderungen sowie etablierten Safety- und Aufsichtsprotokollen vereinbar sind
  • Wenn Gesetze, Vorschriften oder Richtlinien menschliche Kontrolle verlangen, ist eine Nutzung zur eigenständigen Steuerung autonomer Waffen nicht zulässig
  • Gemäß DoD Directive 3000.09 (vom 25. Januar 2023) muss der Einsatz von KI in autonomen und halbautonomen Systemen vor der Bereitstellung unter realistischen Bedingungen streng validiert, verifiziert und getestet werden
  • Bei Aufklärungstätigkeiten muss die Verarbeitung personenbezogener Daten mit dem 4. Verfassungszusatz, dem National Security Act (1947), dem Foreign Intelligence Surveillance Act (1978), Executive Order 12333 sowie einschlägigen Richtlinien des Verteidigungsministeriums im Einklang stehen
  • Unbegrenzte Überwachung personenbezogener Daten von US-Bürgern ist verboten
  • Für inländische Strafverfolgungsaktivitäten ist eine Nutzung nur zulässig, soweit der Posse Comitatus Act und andere anwendbare Gesetze dies erlauben

• Beteiligung von KI-Fachleuten

  • Sicherheitsfreigegebene OpenAI-Ingenieurinnen und -Ingenieure werden direkt bei der Regierung eingesetzt und unterstützen vor Ort
  • Sicherheitsfreigegebene Safety- und Alignment-Forschende bleiben in den Prozess eingebunden

Wichtige Inhalte der FAQ

• Warum wurde der Vertrag geschlossen?

  • Das US-Militär benötigt leistungsfähige KI-Modelle, um auf die Bedrohung durch die Integration von KI-Technologie bei potenziellen Gegnern zu reagieren
  • Anfangs habe man entschieden, noch nicht unmittelbar einen Vertrag zu schließen, weil Schutzmechanismen und Systeme für geheime Deployments noch nicht ausreichend vorbereitet gewesen seien; anschließend seien Vorarbeiten geleistet worden, damit die Red Lines eingehalten werden können
  • Für bessere Leistung in Aufgaben der nationalen Sicherheit sei es nicht der richtige Ansatz, zentrale technische Schutzmechanismen zu entfernen
  • Zudem solle der Vertrag dazu beitragen, Spannungen zwischen dem Verteidigungsministerium und US-KI-Laboren zu entschärfen; OpenAI bat darum, dieselben Bedingungen allen KI-Laboren anzubieten und insbesondere Probleme mit Anthropic zu lösen

• Vergleich mit Anthropic

  • OpenAI ist der Auffassung, dass sein Vertrag bessere Zusicherungen und verantwortungsvollere Schutzmechanismen bietet als der bestehende Vertrag von Anthropic
  • Durch Cloud-only-Deployment (nicht Edge), den Erhalt des eigenen Safety-Stacks und die Beteiligung sicherheitsfreigegebener OpenAI-Mitarbeitender seien die Red Lines besser durchsetzbar
  • Warum Anthropic diesen Vertrag nicht abschließen konnte, wisse man nicht; man hoffe jedoch, dass Anthropic und weitere Labore ein solches Modell in Betracht ziehen

• Einstufung von Anthropic als „Supply-Chain-Risiko“

  • OpenAI lehnt es ab, Anthropic als „Supply-Chain-Risiko“ einzustufen, und habe diese Position der Regierung klar mitgeteilt

• Möglichkeit autonomer Waffen

  • Aufgrund des Safety-Stacks, des Cloud-only-Deployments, der Vertragssprache sowie bestehender Gesetze, Vorschriften und Richtlinien könne die Technologie nicht für autonome Waffen eingesetzt werden
  • Die Einbindung von OpenAI-Mitarbeitenden in den Prozess biete zusätzliche Absicherung

• Möglichkeit massiver Überwachung

  • Auf Basis des Safety-Stacks, der Vertragssprache und bestehender Gesetze, die inländische Überwachung durch das Verteidigungsministerium stark begrenzen, könne die Technologie nicht für massive Überwachung eingesetzt werden

• Deployments ohne Safety-Stack

  • OpenAI behält die vollständige Kontrolle über den Safety-Stack und nimmt keine Bereitstellungen ohne Safety-Guardrails vor
  • Anders als andere KI-Labore, die Modell-Guardrails reduzieren und Nutzungsrichtlinien als primäre Schutzmaßnahme heranziehen, hält OpenAI seinen mehrschichtigen Ansatz für wirksamer

• Was passiert bei einem Vertragsverstoß durch die Regierung?

  • Wie bei gewöhnlichen Verträgen kann bei einem Verstoß gegen die Bedingungen der Vertrag gekündigt werden

• Was passiert bei Änderungen von Gesetzen oder Richtlinien?

  • Der Vertrag verweist bei Überwachung und autonomen Waffen ausdrücklich auf Gesetze und Richtlinien in ihrer aktuellen Fassung
  • Auch wenn sich Gesetze oder Richtlinien künftig ändern, muss die Nutzung des Systems den im Vertrag festgehaltenen heutigen Standards entsprechen

Reaktion auf den Anthropic-Blogpost

• OpenAI stimmt den beiden von Anthropic genannten Red Lines zu — massive inländische Überwachung und vollständig autonome Waffen — und ergänzt diese um eine dritte Red Line: automatisierte hochriskante Entscheidungsfindung
• Massive inländische Überwachung: Im Austausch mit dem Verteidigungsministerium sei klar geworden, dass dieses eine solche Nutzung für rechtswidrig halte und sie nicht plane; im Vertrag werde ausdrücklich festgehalten, dass dies keine rechtmäßige Nutzung ist
• Vollständig autonome Waffen: In der vertraglich vorgesehenen Cloud-Deployment-Umgebung könnten vollständig autonome Waffen nicht betrieben werden, da dies ein Edge-Deployment erfordern würde
• Zusätzlich zu diesen Schutzmaßnahmen gebe es weitere mehrschichtige Sicherheitsvorkehrungen in Form des Safety-Stacks und der Einbindung von OpenAI-Technologieexpertinnen und -experten in den Prozess

[GN⁺]

Hacker-News-Meinungen

• Meiner Lesart nach scheint der Vertrag zwischen OpenAI und dem Verteidigungsministerium Massenüberwachung von US-Bürgern zu verbieten, tatsächlich bedeutet er aber nur, dass dies auf den Bereich beschränkt ist, der ohnehin bereits gesetzlich verboten ist
  Das heißt, man kann es auch so lesen, dass das Verteidigungsministerium in großem Umfang Daten wie Standort- oder Finanztransaktionsdaten von Privatunternehmen ankauft und sie mit OpenAIs Werkzeugen analysiert
  Soweit ich weiß, gab es in Anthropics Vertrag keine solche Klausel
  Falls das stimmt, wäre das schrecklich. Aber ich habe zuletzt oft vorschnelle Schlüsse gezogen, deshalb halte ich mich diesmal mit einem Urteil zurück
  (Zur Einordnung: Ich bin ehemaliger OpenAI-Mitarbeiter und derzeit Aktionär)

  • OpenAI wirkt wie ein Unternehmen, das kein Recht mehr hat, über Ethik zu sprechen
    Anders als früher in der Non-Profit-Zeit hat es seine Datenschutzrichtlinie inzwischen zweimal geändert, um mehr meiner Daten zu sammeln
    Auch das Deaktivieren der entsprechenden Einstellungen ist umständlich, voller Dark Patterns, und die Daten-Download-Funktion funktioniert praktisch nicht
  • Das bedeutet wörtlich nur: „Wir halten uns an die Einschränkungen, die ohnehin schon im Gesetz stehen“
    Ein typisches Beispiel für das, was Dario als „weasel language“ bezeichnet hat
  • Am Ende ist das eigentliche Problem die Third Party Doctrine
    Wenn dieses Prinzip wegfiele, würden die meisten dieser alptraumhaften Szenarien verschwinden
  • Die Leute vergessen oft, dass staatliche NSA-artige Überwachung immer mit einem Vermerk begleitet wird, dass sie „legal“ sei
  • Der Satz selbst ist viel zu verwirrend
    Die Formulierung „Shall not be used as consistent with these authorities“ ist auch grammatikalisch seltsam
    Es wirkt, als hätten Juristen das absichtlich vage formuliert, um Spielraum für eine PR-freundliche Auslegung zu lassen

• Die Formulierung „The Department of War may use the AI System for all lawful purposes…“ bedeutet letztlich, dass es für alle Zwecke eingesetzt werden kann, solange das Gesetz es erlaubt
  Anthropic wollte eigene moralische Maßstäbe anwenden, OpenAI hat die Anforderungen der Regierung dagegen schlicht akzeptiert
  Ich kann beide Positionen persönlich nachvollziehen, aber wie die Regierung Anthropic behandelt hat, war böswillig und auch den Interessen der USA abträglich

  • Der eine Vertrag sagt: „Man darf keinen Terminator bauen“, der andere: „Wenn die Rechtsabteilung sagt, es ist okay, darf man einen Terminator bauen.“ Das ist ein großer Unterschied
  • Das Wort „legal“ trägt hier die ganze Konstruktion
    Die Regierung tut bereits offen illegale Dinge, und was im Geheimen geschieht, weiß ohnehin niemand
    Letztlich war die moralische Haltung, der Regierung nicht zu vertrauen, der Kern von Anthropics Position
  • Wenn man die Formulierung genau liest, kann das Verteidigungsministerium das Modell für jeden Zweck nutzen, solange es selbst ihn als „legal“ einstuft
    Auch die Regeln zu ändern, liegt in ihrer Hand
    Entweder ist Sam Altman naiv, oder er will, dass wir ihn dafür halten
  • Das ist auch nicht konsistent mit der bisherigen Position „OpenAI-Technologie wird nicht in autonomen Waffensystemen eingesetzt“
  • Man muss sich nur eine Situation vorstellen, in der empfohlen wird, während eines Krieges auf in Not geratene Kämpfer zu schießen
    Das wäre eindeutig ein Kriegsverbrechen — aber wer beurteilt dann die „Legalität“? OpenAI, der Verteidigungsminister oder ein Richter?

• Die Formulierung „für alle gesetzlich zulässigen Zwecke“ bedeutet, dass derjenige, der die Gesetze macht, sich damit nicht selbst begrenzt

  • Im Fall von Massenüberwachung wäre dafür zwar sogar eine Verfassungsänderung nötig, also mehr als nur eine einfache Gesetzesänderung
    Aber wenn man dem Staat hilft, obwohl man weiß, dass etwas illegal ist, kann das Beihilfe oder Verschwörung darstellen. Der Staat mag Immunität genießen, OpenAI womöglich nicht
  • Außerdem kann die Regierung im Geheimen Regeln erlassen und durchsetzen
  • Es gab auch die zynische Reaktion: „Heißt das, man kann den Worten eines verurteilten Betrügers nicht trauen?“

• Ich halte Anthropic nicht für vollkommen moralisch makellos
  Dasselbe gilt für ChatGPT
  Aber ChatGPT jetzt zu kündigen und Claude zu nutzen, ist eine Handlung, die die Botschaft vermittelt, die ich senden möchte

  • Es ist wichtig, diese Bereitschaft zum Wechsel zu zeigen
    Wenn Unternehmen wissen, dass Nutzer bei Kontroversen sofort gehen, werden sie vorsichtiger
  • Außerdem ist Claude derzeit leistungsmäßig deutlich besser als ChatGPT
  • Ich will Claude einmal als Ersatz für normale Suche ausprobieren. Ich frage mich, ob es sich für einfache Dinge wie Rezepte oder Produktbewertungen eignet
  • Langfristig werden meiner Meinung nach Modelle mit offenen Gewichten die besten sein
    Dass Anthropic dieses Mal nicht eingeknickt ist, ist bemerkenswert
    GPUs sind zwar knapp, aber ich werde ChatGPT ebenfalls kündigen und zu Claude oder Kimi wechseln

• Letztlich ist eine moralische Haltung von Mitarbeitern bedeutungslos, wenn sie keine Entscheidungsmacht haben
  Die einzige Macht ist die Kündigung

  • Aber wenn es zu kollektiven Kündigungen kommt, entsteht daraus enorme Macht
  • Genau für solche Situationen gibt es eigentlich Gewerkschaften
    Wenn die Schlüsselingenieure gemeinsam die Arbeit niederlegen, kann Sam Altman das Unternehmen nicht allein am Laufen halten
  • OpenAI-Mitarbeiter hatten schon vor zwei Jahren die Macht, Sam Altman nach seiner Entlassung wieder zurückzubringen
  • Wenn sich Mitarbeiter zusammenschließen, können sie das Unternehmen auch stoppen. Aber bei einem Ort wie OpenAI ist eine solche Kultur der Solidarität schwer vorstellbar

• OpenAI betreibt hier moralische Verantwortungsabwälzung, nach dem Motto: „Übertragen wir die moralische Verantwortung für KI einfach dem Gesetz“

• Wenn OpenAI-Mitarbeiter mit einem Nettovermögen von mehr als 2 Millionen Dollar immer noch dort bleiben, dann ist ihr moralischer Kompass defekt
  Es unterscheidet sich dann kaum noch davon, bei Palantir oder xAI zu arbeiten

  • Darauf kam auch die spöttische Antwort: „Ich werde in mein Geldkissen weinen, natürlich auf ethische Weise“

• Die Formulierung „kann für alle legalen Zwecke verwendet werden“ bedeutet am Ende nur, dass das Verteidigungsministerium dank unzureichender Regulierung bekommen hat, was es wollte

• Dieser Blogbeitrag lässt die Lage noch schlimmer aussehen
  Er zieht bei den umstrittenen Einsatzfällen, die Anthropic abgelehnt hatte, keine klare Grenze
  Er sagt nur, sie seien möglich, wenn sie „legal und getestet“ seien
  Das fühlt sich an wie IBM in den 1930er-Jahren, das Maschinen nach Deutschland verkaufte und später sagte: „Wir wussten von nichts“
  Was das Militär letztlich wollte, waren autonome Waffen und Massenüberwachung sowie weitere Einsatzzwecke, die rechtlich vielleicht zulässig, aber moralisch grau sind