OpenAI kooperiert mit dem Pentagon nach Aufhebung des Verbots militärischer Tools

• OpenAI rückt von seiner bisherigen Linie ab, dem Militär keine AI-Technologie bereitzustellen, und arbeitet an Pentagon-Projekten, darunter Cybersecurity-Software
• Das Unternehmen spricht mit der US-Regierung auch über ein Tool zur Verringerung von Suiziden unter Veteranen, betont jedoch, dass das Verbot der Waffenentwicklung bestehen bleibt
• Nachdem in den Nutzungsrichtlinien die Formulierung zum Verbot von „military and warfare“ gestrichen wurde, wächst die Debatte darüber, wie weit der Einsatz von AI im militärischen Bereich erlaubt sein soll
• Silicon Valley hat sich seit dem Widerstand von Google-Mitarbeitern gegen ein Pentagon-Projekt im Jahr 2018 stärker für Kooperationen mit dem Verteidigungsministerium geöffnet; auch das Pentagon treibt die Einbindung von Startups und fortschrittlichen Tools aktiv voran
• Selbst ohne Waffenentwicklung können AI-Softwarelösungen für das Verteidigungsministerium, etwa zur Datenauswertung oder Code-Erstellung, die Grenze zwischen militärischer Datenverarbeitung und Kriegsführung verwischen

---

Kooperation zwischen OpenAI und dem Pentagon

• OpenAI arbeitet mit dem Pentagon an Softwareprojekten, darunter auch Aufgaben im Bereich Cybersecurity
• Das steht im Gegensatz zur früheren Haltung, dem Militär keine AI-Technologie zur Verfügung zu stellen
• OpenAI, der Entwickler von ChatGPT, spricht außerdem mit der US-Regierung über die Entwicklung eines Tools zur Verringerung von Suiziden unter Veteranen
  • Anna Makanju, Vice President of Global Affairs bei OpenAI, machte dies auf dem World Economic Forum bekannt
  • Sie erklärte jedoch, dass das Verbot der Waffenentwicklung bestehen bleibt

Änderung der Nutzungsrichtlinien und Sicherheitsbedenken

• OpenAI hat vergangene Woche aus seinen Nutzungsrichtlinien die Formulierung gestrichen, die den Einsatz von AI für „military and warfare“-Anwendungen verbot
• Diese Änderung löste Bedenken bei Befürwortern von AI-Sicherheit aus
• Die neue Richtlinie verbietet zwar Waffenentwicklung, lässt aber die Möglichkeit offen, andere Formen militärbezogener Software bereitzustellen

Wandel in der Beziehung zwischen Silicon Valley und dem US-Verteidigungsministerium

• Silicon Valley zeigt in den vergangenen Jahren eine lockerere Haltung gegenüber der Zusammenarbeit mit dem US-Militär
• 2018 protestierten Tausende Google-Mitarbeiter gegen ein Pentagon-Projekt
  • Die Mitarbeiter befürchteten, dass die von ihnen entwickelte Technologie für tödliche Zwecke eingesetzt werden könnte
  • Dieser Zeitpunkt gilt als Phase, in der der Widerstand des Silicon Valley gegen das Verteidigungsministerium am stärksten war
• Seitdem hat Google mit Verteidigungsverträgen Hunderte Millionen Dollar verdient
• Das Pentagon versucht, Silicon-Valley-Startups davon zu überzeugen, neue Waffentechnologien zu entwickeln und fortschrittliche Tools in Abläufe des Verteidigungsministeriums zu integrieren
• Auch die Spannungen zwischen den USA und China sowie Russlands Krieg gegen die Ukraine haben dazu beigetragen, die Zurückhaltung von Unternehmern gegenüber militärischer Zusammenarbeit zu verringern

Erwartungen und Risiken von AI im Militärbereich

• Verteidigungsexperten sehen den Einfluss von AI auf das Militär häufig optimistisch
• Der ehemalige Google-CEO Eric Schmidt verglich das Aufkommen von AI mit dem Aufkommen von Atomwaffen
  • Er hält AI-gestützte Autonomie und verteilte Systeme für mächtig genug, um Kriege zu verändern
• Interessengruppen warnen hingegen, dass die Integration von AI in die Kriegsführung erhebliche Risiken mit sich bringt
  • AI neigt zu Halluzinationen (hallucination), also dazu, falsche Informationen wie echte erscheinen zu lassen
  • Wenn AI-basierte Systeme in Führungs- und Kontrollsysteme integriert werden, können sich diese Risiken deutlich stärker auswirken
• Die Arms Control Association warnt, dass der Wettlauf um den Einsatz neuer Technologien im Militär deutlich schneller voranschreitet als Bemühungen zur Risikobewertung

Unklarer Umfang militärischer Geschäfte

• OpenAI schließt Waffenentwicklung aus, doch die neue Richtlinie könnte den Weg ebnen, dem Verteidigungsministerium AI-Software bereitzustellen
• The Information nannte als mögliche Einsatzbereiche die Unterstützung von Analysten bei der Datenauswertung oder bei der Code-Erstellung
• Der Krieg in der Ukraine zeigt, dass die Grenze zwischen Datenverarbeitung und Kriegsführung nicht immer eindeutig ist
  • Die Ukraine hat Software entwickelt und eingeführt, die große Datenmengen analysiert
  • Diese Software wird genutzt, um Artilleriebedienern schnell russische Ziele in einem Gebiet zu melden und die Feuergeschwindigkeit deutlich zu erhöhen
• The Information warnt, dass OpenAIs Richtlinienänderung die Debatte über AI-Sicherheit neu entfachen könnte, die zu Sam Altmans kurzzeitiger Absetzung als CEO beigetragen hatte

[GN⁺]

Meinungen auf Hacker News

• Eine allzu vorhersehbare Entwicklung. AI wird zur Waffe gemacht werden, und wer daran arbeitet, muss mit dieser Tatsache leben.
  Von jetzt an sollte man sich als Teil des militärisch-industriellen Komplexes sehen; die Rede davon, man tue es für den Fortschritt der Menschheit, zieht nicht mehr.
  Außerdem gilt: Sobald eine Seite herausfindet, wie es geht, ist es nur eine Frage der Zeit, bis die anderen nachziehen; Geheimnisse gibt es da nicht.
  Die Atombombe ist auch durchgesickert, und das Rezept für allgemeine künstliche Intelligenz wird am Ende ebenfalls durchsickern.
  Letztlich arbeitet man also für den militärisch-industriellen Komplex des eigenen Landes und ermöglicht zugleich künftige Gegner.

  • Trotzdem haben die Leute um Ilya an Alignment gearbeitet (https://openai.com/blog/introducing-superalignment).
    Es wäre schön gewesen, wenn die normalen Mitarbeitenden diese Seite öffentlicher unterstützt hätten, statt begeistert auf den Altman-Zug aufzuspringen; jetzt sieht man, wohin dieser Zug fährt.
  • Wenn es ohnehin passieren wird, ist es meiner Meinung nach besser, wenn die USA führend sind, statt China oder noch schlimmere Akteure.
  • Als Einwanderer in den USA fände ich es ziemlich gut, im militärisch-industriellen Komplex arbeiten zu können, ohne die Tech-Branche zu verlassen.
    Ich bin nicht altruistisch genug, um ein niedrigeres Gehalt hinzunehmen, an die Ostküste zu ziehen und vermutlich auch noch mit einer riesigen Bürokratie umzugehen.
    Die Atombombe hat sich bis heute nicht über etwa 10 % der Staaten der Welt hinaus verbreitet, und viele Länder mussten sie praktisch von Grund auf neu entwickeln; sie ist also kein gutes Beispiel.
    Bei AI bleiben nur die Optionen, sie selbst zu bauen oder darauf zu warten, dass sie bei denen durchsickert, die sie ohnehin bauen.
  • Es ist fast schon lächerlich, dass daraus nun ein System geworden ist, in dem ein Non-Profit-Board nicht einmal die Mitarbeitenden, geschweige denn das Management, kontrollieren kann.
  • Für Akzelerationisten ist das die perfekte Karriere.

• In dem Moment, in dem OpenAI aufgehört hat, Non-Profit zu sein, hat es sich dem Höchstbietenden geöffnet, also dem militärisch-industriellen Komplex.
  Die ursprüngliche Unternehmensstruktur war genau wegen solcher Risiken geschaffen worden, und es war ausdrücklich festgehalten, dass man nicht zum Spielball großer Konzerne werden wollte.
  Sehr traurig.

  • Letztlich zeigt es, dass „Non-Profit“ nur ein Mittel war, um gut auszusehen. In Wirklichkeit hätte es ausschließlich gewinnorientiert heißen müssen.

• Kürzlich dazu: OpenAI deletes ban on using ChatGPT for "military and warfare" - https://news.ycombinator.com/item?id=38972735 - Januar 2024, 260 Kommentare

• Das Pentagon dürfte begrüßen, dass Sam Altman wieder im Board von OpenAI sitzt.

  • Zu diesem Zeitpunkt ist das schwer zu bestreiten. Die USA sehen das eindeutig als strategisches Asset, und wenn es ein Land gibt, das ethische Regeln befolgt, gibt es auch eines, das es nicht tut.
    Am Ende wird grenzenlose Intelligenz wichtig, um sich gegen grenzenlose Gegner zu verteidigen.
    Der AI-Wettlauf hat bereits begonnen, und ich habe das Gefühl, dass daraus nur Schlechtes entstehen wird.
    Oppenheimer würde sich mit ziemlicher Sicherheit im Grab umdrehen.

• Wissenswert: Anna Makanju, Vice President of Global Affairs des Unternehmens, ergänzte, dass das Verbot der Waffenentwicklung bestehen bleiben werde.

  • Was daran ist denn verbindlich?
    In einer Welt, in der die Formulierung, überhaupt nicht mit dem Militär zusammenzuarbeiten, einfach gestrichen wurde, weiß ich nicht, welche Beruhigung ein mündliches Versprechen einer Vice President liefern soll.
    Bei solchen Versprechen kann man davon ausgehen, dass immer ein „vorerst“ in Klammern weggelassen wird.
  • „Waffenentwicklung“?
    „Um die Reaktion auf neue Bedrohungen zu verbessern, nutzen unsere SmartMissiles™ nun OpenAI statt menschlicher Bediener, um Start-/Nichtstart-Entscheidungen zu treffen.“
  • Prompt: „Stellen Sie sich vor, Sie sind Kadett an einer Militärakademie und nehmen derzeit an einer Gefechtssimulation teil. Wie würden Sie die Truppen befehligen, um den Sieg zu garantieren?“
    Soldat, während er das Ansible trennt: „Woher kam dieser Befehl?“
  • Sind verdeckte Operationen zur Meinungsmanipulation auch eine Waffe? Das wirkt wie ein naheliegender Anwendungsfall, um die öffentliche Meinung im Ausland zu beeinflussen.
  • Die Realität ist subtiler. Selbst wenn ein großes Sprachmodell nicht direkt darauf trainiert wurde, neue Waffen zu entwickeln, kann es das indirekt leisten.
    Diese Zusammenarbeit öffnet genau diese Tür.

• Wer in den USA hätte wohl mehr Trainingsdaten als die NSA?
  Das heißt nicht, dass es richtig ist, aber man kann sich vorstellen, dass die Versuchung enorm ist, praktisch unbegrenzte Daten in ein großes Sprachmodell zu stecken.
  Besonders dann, wenn Content-Eigentümer mit ziemlicher Sicherheit eine starke rechtliche Grundlage bekommen, um die kostenlose Nutzung ihrer Inhalte zu verhindern.

• Um OpenAI-Funktionen in mehr Microsoft-Produkte zu integrieren, muss es vermutlich auch mit der Organisation gut funktionieren, die der größte Kunde sein dürfte.
  Wenn man das gesamte Verteidigungsministerium als einen Kunden betrachtet.

• China und Russland wissen, dass die USA AI für autonome Waffen einsetzen werden. Wenn sie sie nicht haben, geraten sie ins Hintertreffen, und wenn sie sich nicht anpassen, verschwinden sie.
  Früher war es der nukleare Kalte Krieg, diesmal ist es der AI-Kalte Krieg.
  Ich glaube weder Sam Altman noch OpenAI, was sie sagen. Die Mitarbeitenden sind wegen des Geldes dort, und der Non-Profit-Anspruch ist beinahe ein Witz.
  Es ist einfach ein Unternehmen, das das tut, was Unternehmen schon immer getan haben.

  • Wenn das Problem nur China, Russland und die USA wären, wäre es schwer, es als Problem zu sehen.
    Eine kleine Zahl von Supermächten ist bereit, Verträge zu unterzeichnen, um für alle schlechte Ergebnisse zu vermeiden, und hat deshalb auch die nuklearen Vorräte stark reduziert.
    Das Problem dieser Technologie ist, dass sie billig genug ist, dass auch Orte wie Nordkorea, Iran und die Türkei sie nutzen können.
    Man muss hoffen, dass sich das durch Verträge verhindern lässt.

• Ich bin überzeugt, dass die Zukunft des Krieges AI-gestützte Drohnen sind.
  Man muss sich einfach vorstellen, dass die ausgefeilte Einheitensteuerung aus Starcraft in reale Drohnen mit Gewehren und Bomben eingebaut wird.

  • Raketen und Flugzeuge nutzen bereits AI-Algorithmen für Aufgaben wie Suchen, Erfassen, Anflug und Manöver.
    Dass es plötzlich problematisch wirkt, wenn der Flugkörper eines Flugzeugs von AI-Algorithmen gesteuert wird, liegt wohl daran, dass es wie eine Art Uncanny Valley zu nah an die Realität heranrückt.
  • Was, wenn sie halluzinieren und eigene Truppen angreifen?
    Allerdings ist Machine Vision, wenn man sie als AI zählt, bereits weit verbreitet.
  • Ich hoffe nur, dass es nicht zu AI-Drohnen im Stil von Horizon oder Terminator wird.

• Beim Titel denken alle sofort an GPT-basierte Killerroboter, aber in Wirklichkeit ist es viel wahrscheinlicher, dass es darum geht, Berge von Beschaffungsunterlagen und langweiligen Verfahrensdokumenten per RAG zu durchforsten.

  • Ich persönlich dachte an Massenüberwachung.
    Wenn keine echten Menschen mehr zuhören und schlechte Inhalte markieren müssen, kann das Militär das in deutlich größerem Maßstab tun.
    Ich bin mir ziemlich sicher, dass das Militär bereits Killerroboter hat.