Erklärung von Dario Amodei zu den Gesprächen mit dem US-Verteidigungsministerium

• Zwei Bereiche sind von Verträgen ausgeschlossen: umfassende inländische Überwachung und vollautonome Waffen
• Anthropic betrachtet die Nutzung von AI zur Verteidigung der USA und demokratischer Staaten als Kern seiner Mission und arbeitet dafür mit dem Verteidigungsministerium und Geheimdiensten zusammen
• Claude-Modelle werden in klassifizierten Netzwerken, nationalen Laboren und nationalen Sicherheitsbehörden für Aufgaben wie Nachrichtenauswertung, Einsatzplanung und Cyberoperationen eingesetzt
• Das Unternehmen schützt den AI-Vorsprung der USA unter anderem durch den Abbruch von Geschäften mit Unternehmen mit Verbindungen zur Kommunistischen Partei Chinas, das Blockieren von Cyberangriffen mit missbräuchlicher AI-Nutzung und die Unterstützung strengerer Halbleiter-Exportkontrollen
• Zugleich werden die beiden Bereiche umfassende inländische Überwachung und vollautonome Waffen ausdrücklich ausgeschlossen, da sie mit demokratischen Werten und Fragen der technischen Zuverlässigkeit kollidieren
• Anthropic hält trotz des Drucks des Verteidigungsministeriums an diesen beiden Sicherheitsleitplanken fest und hofft auf eine Fortsetzung der Zusammenarbeit

---

Anthropics Zusammenarbeit mit dem Verteidigungssektor und der Einsatz von AI

• Anthropic ist ein Pionierunternehmen, das als erstes AI-Modelle in klassifizierten Netzwerken der US-Regierung eingesetzt hat
  • Außerdem stellte es als erstes maßgeschneiderte Modelle für nationale Labore und Kunden im Bereich der nationalen Sicherheit bereit
  • Claude-Modelle werden vom Verteidigungsministerium und verschiedenen Sicherheitsbehörden für Nachrichtenauswertung, Modellierung und Simulation, Einsatzplanung und Cyberoperationen genutzt
• Das Unternehmen führt Beispiele an, in denen es zugunsten des Erhalts des technologischen AI-Vorsprungs der USA auf kurzfristige Gewinne verzichtet hat
  • Durch den Abbruch von Geschäften mit Unternehmen mit Verbindungen zur Kommunistischen Partei Chinas verzichtete es auf Umsätze in Höhe von mehreren hundert Millionen Dollar
  • Aus China stammende Cyberangriffe, die Claude missbrauchten, wurden blockiert
  • Durch die Unterstützung strengerer Halbleiter-Exportkontrollen soll der technologische Vorsprung demokratischer Staaten gesichert werden

Zwei Ausnahmen auf Basis demokratischer Werte und technischer Zuverlässigkeit

• Anthropic schließt zwei Anwendungsfälle, in denen AI demokratische Werte untergraben könnte, ausdrücklich aus
  • Umfassende inländische Überwachung: Rechtmäßige Auslandsaufklärung wird unterstützt, aber die inländische Massenüberwachung widerspricht demokratischen Grundsätzen
    • AI-gestützte Überwachung kann Daten zu Bewegungen, Webnutzung und sozialen Beziehungen von Personen automatisch zusammenführen und so umfassendes Profiling von Einzelpersonen in großem Maßstab ermöglichen
    • Die aktuelle Gesetzgebung hält mit der technologischen Entwicklung nicht Schritt, sodass manche Überwachungspraktiken weiterhin legal sind
  • Vollautonome Waffen: Waffen, die ohne menschliches Eingreifen Ziele identifizieren und angreifen, sind mit der heutigen Technologie nicht ausreichend zuverlässig
    • Anthropic stellt keine Produkte für solche Waffen bereit
    • Das Unternehmen schlug dem Verteidigungsministerium eine Forschungskooperation zur Verbesserung der Zuverlässigkeit vor, die jedoch nicht angenommen wurde
    • Es wird ausdrücklich festgestellt, dass ein Einsatz derzeit wegen fehlender angemessener Aufsicht und Sicherheitsleitplanken nicht möglich ist

Forderungen des Verteidigungsministeriums und die Reaktion von Anthropic

• Das Verteidigungsministerium verlangt von AI-Unternehmen, „allen rechtmäßigen Verwendungen zuzustimmen“ und die beiden Sicherheitsleitplanken zu entfernen
  • Bei einer Weigerung, so die Warnung, könne Anthropic als Lieferkettenrisiko (supply chain risk) eingestuft oder über den Defense Production Act dazu gezwungen werden
  • Die beiden Maßnahmen haben einen widersprüchlichen Charakter: Die eine behandelt Anthropic als Sicherheitsrisiko, die andere als für die nationale Sicherheit unverzichtbare Technologie
• Trotz dieses Drucks erklärt Anthropic unmissverständlich, diesen Forderungen aus Gewissensgründen nicht nachkommen zu können
  • Das Unternehmen erkennt an, dass das Verteidigungsministerium andere Auftragnehmer wählen kann, hofft jedoch auf eine Fortsetzung der Zusammenarbeit bei gleichzeitiger Beibehaltung der beiden Sicherheitsleitplanken
  • Sollte der Vertrag dennoch enden, sagt Anthropic Unterstützung für einen reibungslosen Übergang zu, damit militärische Operationen oder Planungen nicht beeinträchtigt werden

Weitere Positionierung

• Anthropic bekräftigt seine Bereitschaft, die nationale Sicherheit der USA zu unterstützen
• Das Unternehmen will die Zusammenarbeit mit dem Verteidigungsministerium fortsetzen, hält jedoch an seinen Grundsätzen zu demokratischen Werten und technischer Sicherheit fest

[GN⁺]

Hacker-News-Kommentare

• Der stärkste Teil des Textes ist, dass die Regierung die Entfernung von Anthropics Sicherheitsmaßnahmen erzwingen wollte und gleichzeitig damit drohte, sie als „Lieferkettenrisiko“ einzustufen
  Einerseits nennt sie das Unternehmen unverzichtbar für die nationale Sicherheit, andererseits bezeichnet sie es als Risiko — eine widersprüchliche Haltung
  Beeindruckend ist, dass Anthropic darauf mit „Dann muss die Regierung unseren Dienst eben nicht nutzen“ reagierte. Das ist zwar Messaging-Strategie, aber damit wurde der Ball an die Regierung zurückgespielt

• Ich habe früher bei Anthropic gearbeitet, und zu diesem RSP-Update gibt es einen Kommentar von mir
  Es ist bewegend zu sehen, wie Führungskräfte bei Anthropic bereit sind, Positionen oder Chancen zu verlieren, um ihre Werte zu verteidigen
  Leute wie Dario, Jared und Sam meinen es ernst genug, Nachteile in Kauf zu nehmen, wenn etwas ihren Überzeugungen widerspricht
  Natürlich ist es kein perfektes Unternehmen, aber die Menschen, die wichtige Entscheidungen treffen, handeln meist aus guten Absichten und wertebasierten Motiven

• Beim Lesen blieb ich an dem Satz hängen, dass „die heutige AI nicht zuverlässig genug ist, um vollständig autonome Waffen zu betreiben“
  Das klingt also so, als ließe man die Möglichkeit autonomer Waffen offen, sobald sie zuverlässig genug werden
  Außerdem wird nur „großflächige inländische Überwachung“ kritisiert, während „teilautonome Überwachung“ oder „Überwachung im Ausland“ nicht ausdrücklich abgelehnt werden — das ist enttäuschend
  Ich dachte, der Name „Anthropic“ bedeute, dass es um die gesamte Menschheit geht, aber am Ende wirkt es wie ein Schema von „unsere Menschen gegen eure Menschen“

  • Das lässt mich fragen, ob die Aussage „Anthropic ist für die Menschheit“ wirklich ernst gemeint ist
    So wie OpenAI nicht wirklich „offen“ und Nordkorea keine „Volksrepublik“ ist, können Name und Realität auseinandergehen
    In dem Zusammenhang fällt mir die satirische Seite People’s Republic of Tyranny ein
  • Ich finde die Formulierung angemessen. Dario ist nicht in der Position, so endgültige Aussagen über die Zukunft zu treffen
  • Wenn Systeme irgendwann zuverlässig genug werden, denke ich, dass vollständig autonome Waffen auf dem Schlachtfeld auftauchen werden
    Was Anthropic sagt, ist nur: „Im Moment geht das nicht.“ Später könnten die Beschränkungen durchaus gelockert werden
  • Ich lese das weniger als „wenn genug Trainingsdaten da sind“, sondern eher als wenn die Zuverlässigkeitskriterien erfüllt sind
    Auch Hardware oder normale Software haben Zuverlässigkeitsgrenzen, also ist das an sich nicht irrational
  • Interessant ist allerdings der Widerspruch, dass autonome Waffen angeblich noch nicht vertrauenswürdig sind, man sie aber für den Ersatz von White-Collar-Arbeitsplätzen offenbar schon für vertrauenswürdig genug hält

• Der wahre Charakter einer Organisation zeigt sich, wenn Werte und Profit kollidieren
  Es ist beeindruckend, dass Anthropic an seinen Prinzipien festzuhalten versucht. Die meisten Unternehmen hätten diese Entscheidung wohl nicht getroffen

  • Aber solche Entscheidungen kosten am Ende Geld
    Sich aus moralischen Gründen auf schlechte Systeme zu stützen, kann langfristig nur scheitern
    Es braucht starke Abschreckungsmechanismen gegen schlechtes Verhalten, aber dafür ist es vielleicht schon zu spät

• Dieser Text hat mich wirklich deprimiert. Ich weiß nicht, wohin sich die USA bewegen
  Ich hoffe, bei der nächsten Wahl kommt vernünftige Führung heraus

  • Aber das ist nichts, was sich mit einer einzigen Wahl lösen lässt. Es braucht Anstrengungen über Generationen hinweg
  • Hoffnung allein reicht nicht. Ohne konkreten Plan gibt es auch keine Zukunft
  • Diese Entwicklung kommt nicht aus dem Nichts. Seit 9/11 erleben wir die Militarisierung der Polizei, Angriffe auf die Demokratie und eine einseitige Außenpolitik
  • Ich sorge mich, dass die ungebremste Verbreitung von AI die gesellschaftlichen Strukturen noch weiter verschlechtern könnte. Vielleicht kommt eine noch chaotischere Zeit als das Zeitalter der sozialen Medien
  • Solange sich die Demokraten auf Nebenthemen statt auf die zentralen Probleme konzentrieren, wird es schwer, die nächste Wahl zu gewinnen
    Ich lebe in San Francisco, wo Lehrer über GoFundMe Unterrichtsmaterial finanzieren müssen, während die Stadt 36 Millionen Dollar für die Räumung von RVs ausgibt
    Der zugehörige Artikel zeigt, wie verzerrt die Realität geworden ist

• Die Wurzel all dieser Probleme ist, dass der Kongress seine Befugnisse an die Exekutive abgegeben hat
  Das Militär muss gesetzlich kontrolliert werden, und nur ziviles Handeln kann das ändern
  Dass Unternehmen das Verhalten des Militärs beeinflussen, ist absurd. Technologie kann jederzeit requirieren werden, und Unternehmen können das nicht verhindern
  Dass CEOs für so etwas als Helden gefeiert werden, zeigt, wie verzerrt die Wahrnehmung der Realität geworden ist

  • In einer Kriegswirtschaft mag das anders sein, aber in einem demokratischen Staat in Friedenszeiten sind solche Zwangsmaßnahmen nicht hinnehmbar

• Zunächst war ich enttäuscht zu hören, dass Anthropic zwar von „AI für die Menschheit“ spricht, aber dem Pentagon bevorzugten Zugang verkauft hat
  Andererseits kann ich die Logik verstehen, dass, wenn schon jemand mit dem militärisch-industriellen Komplex zusammenarbeiten muss, es besser diejenige Organisation mit den höchsten moralischen Standards sein sollte

  • AI ist von Natur aus eine für Militär und Überwachung optimierte Technologie. Sie analysiert Massendaten und extrahiert daraus nützliche Informationen
    Unternehmen existieren am Ende nun einmal für Profit
  • Unternehmen brauchen Einnahmen, um zu überleben. Wenn Nutzer nicht genug zahlen, sucht man sich andere Einnahmequellen
    Solange es Investoren und Aktionäre gibt, hat Überleben Vorrang vor Moral
    Echte Unabhängigkeit ist nur in einer Struktur möglich, die nicht von Profit abhängt

• Ich bin Claude-Max-Abonnent, und bei dieser Sache macht es mich stolz, dass Anthropic nicht vor der Macht eingeknickt ist
  Ich hoffe, andere Unternehmen schöpfen daraus Mut

  • Aber bis zu einem gewissen Grad ist man der Macht bereits entgegengekommen. Immerhin ist noch ein Mindestmaß an Selbstachtung übrig

• Dass der Ausdruck „Department of War“ unverändert verwendet wurde, liegt einfach daran, dass der Kongress den Namen nie geändert hat. Davon abgesehen ist es eine passende Formulierung

  • Über die Namensfrage muss man nicht streiten. Tatsächlich nennen die Mächtigen es selbst so
  • Ich finde im Gegenteil, dass der ursprüngliche Name „Department of War“ die Funktion klarer benennt
    Weil wir alles ständig beschönigen, verlieren wir den Blick auf die Realität
  • Ich finde den Namen auch ehrlicher. Er zeigt besser, was diese Institution tatsächlich tut, und zwingt die Menschen, über seine Bedeutung nachzudenken
  • Vermutlich wurde der Ausdruck so übernommen, weil Hegseth auf dieser Wortwahl besteht. „DoD“ zu schreiben wäre eher noch provokanter gewesen
  • Trotzdem ist die Wahl solcher Begriffe bedeutsam, weil sie den Ton des Textes prägt

• Ich schätze es sehr, dass Dario und Anthropic eine moralische Position eingenommen haben. So etwas sieht man in der Tech-Branche heute selten

  • Auch ohne LLM-Optimist oder -Pessimist zu sein, sind die Risiken von Überwachung und autonomen Waffen offensichtlich
    Dass Dario nicht so gehandelt hat wie Sam Altman oder Sundar Pichai, ist bemerkenswert
  • Manche sehen darin allerdings nur eine Show. Ihrer Meinung nach ist es bloß eine nachträgliche Geste der Schöpfer, die das Monster ohnehin schon gebaut haben
  • Aus einer anderen Perspektive wirkt schon der erste Satz der Erklärung — „Mit AI werden wir Amerika und die Demokratie verteidigen“ — abstoßend
    Tatsächlich liefert Anthropic bereits Modelle für Verteidigungs- und Geheimdienste
  • Jemand kritisiert: „Heißt das, Kanada oder Deutschland zu überwachen, ist in Ordnung?“ — die moralische Begründung sei zu schwach
  • Eine zynischere Sicht lautet, dass Anthropic „heute vielleicht moralisch“ sei, nach einem IPO aber letztlich doch der Profitlogik von Wall Street und Fonds unterworfen werde
    Vor milliardenschweren Regierungsverträgen könne am Ende kein Unternehmen wirklich rein bleiben