Anthropics Position zu Open-Weight-Modellen

• Open-Weight-Modelle ohne gefährliche Fähigkeiten sind ein öffentliches Gut, das Unternehmen, Entwicklern und Forschern Mehrwert bietet; Anthropic lehnt ein kategorisches Verbot der gesamten Kategorie ab
• Die zentralen Bedenken für die nationale Sicherheit betreffen nicht die Art der Veröffentlichung an sich, sondern KI-Überlegenheit autoritärer Regierungen, Cyber- und Biologieangriffe mit leistungsstarken Modellen sowie Alignment-Probleme
• Open Weights erschweren das Anwenden von Sicherheitsmaßnahmen und die Überwachung der Nutzung; da sie nach der Verbreitung nicht zurückgeholt werden können, können Risiken steigen. Ein Verbot der Nutzung durch US-Unternehmen würde böswillige Akteure jedoch kaum aufhalten
• Als Alternative unterstützt Anthropic Exportbeschränkungen für Hochleistungschips und Fertigungsanlagen nach China, die Bekämpfung von Distillation im industriellen Maßstab sowie verpflichtende Sicherheitstests auf Basis von Fähigkeiten für offene und geschlossene Modelle
• Man sollte nicht im Voraus annehmen, dass Open Weights Verteidigern zugutekommen; insbesondere Risiken einschließlich der Angreifer-Verteidiger-Asymmetrie in der Biologie sollten vor der Veröffentlichung empirisch getestet werden

---

Warum Anthropic ein pauschales Verbot von Open Weights ablehnt

• Nachdem berichtet wurde, dass einige US-Beamte ein Verbot der Nutzung chinesischer Open-Weight-Modelle durch US-Unternehmen prüfen, unterzeichneten mehrere Technologieunternehmen einen offenen Brief zur Unterstützung von Open Weights
• Anthropic weist die Kritik zurück, das Unternehmen wolle aus Eigenschutz ein Verbot, und erklärt, nie ein Verbot der gesamten Kategorie von Open-Weight-Modellen gefordert zu haben
• Open-Weight-Modelle ohne gefährliche Fähigkeiten sind ein öffentliches Gut, das Unternehmen, Entwicklern und Forschern ohne zusätzliche Kosten über die für den Betrieb erforderlichen Rechenkosten hinaus Mehrwert bietet
• Protektionistische Verbote könnten lediglich US-KI-Unternehmen vor Wettbewerb schützen, ohne die wichtigsten Bedrohungen für die nationale Sicherheit zu lösen

Zwei Bedrohungen für die nationale Sicherheit

• KI-Überlegenheit autoritärer Regierungen

  • Die größte Sorge ist ein Szenario, in dem autoritäre Regierungen, einschließlich der Kommunistischen Partei Chinas (KPCh), leistungsstärkere KI-Modelle als die USA entwickeln und damit dauerhafte militärische Überlegenheit erlangen oder ihre eigene Bevölkerung extrem unterdrücken
  • Die Kommunistische Partei Chinas ist nicht die einzige Bedrohung, wird aber unter autoritären Regierungen als die stärkste eingeschätzt
  • Auch die US-Regierung ist über dasselbe Problem besorgt
  • Vizepräsident Vance warnte, autoritäre Regime hätten KI entwendet und eingesetzt, um ihre Militär-, Geheimdienst- und Überwachungskapazitäten zu stärken
  • Die jährliche Bedrohungsbewertung 2026 kommt zu dem Schluss, dass KI-Fortschritte anderer Großmächte die wirtschaftliche Wettbewerbsfähigkeit und die Vorteile der USA bei der nationalen Sicherheit bedrohen
  • Bei dieser Bedrohung ist es nicht entscheidend, ob ein Modell Open Weight ist oder ob es von US-Unternehmen genutzt wird
  • Die gefährlichsten Modelle könnten solche sein, die heimlich trainiert und anschließend nur den Drohnen der Volksbefreiungsarmee oder den Überwachungs- und Unterdrückungsapparaten des Ministeriums für Staatssicherheit bereitgestellt werden

• Cyber- und Biologieangriffe sowie Alignment-Probleme

  • Die zweite Sorge ist ein Szenario, in dem leistungsstarke KI-Modelle für Cyber- und Biologieangriffe missbraucht werden oder schwerwiegende Alignment-Probleme verursachen
  • Unabhängig vom Herkunftsland können Open-Weight-Modelle potenziell riskanter sein als geschlossene Modelle
  • Bei Open Weights ist es sehr schwierig, Sicherheitsmaßnahmen anzuwenden oder das Nutzungsverhalten zu überwachen
  • Sobald Gewichte veröffentlicht sind, können sie nicht zurückgeholt werden, und Sicherheitsmaßnahmen können entfernt werden
  • Es ist außerdem möglich, Kopien herunterzuladen, weiterzuverbreiten oder sie auf privaten Systemen auszuführen, die nicht überwacht werden können
  • Ein Bericht des UK AI Security Institute bewertet die Veröffentlichung von Open-Weight-Modellen mit gefährlichen Fähigkeiten als Quelle eines anhaltenden und unumkehrbaren Missbrauchsrisikos
  • Da rechtmäßig handelnde US-Unternehmen wahrscheinlich keine böswilligen Akteure sind, würde ein Verbot der Modellnutzung durch US-Unternehmen diese Risiken nicht direkt verhindern

Kontrolle von Hochleistungschips und Fertigungsanlagen

• Hochleistungschips und Chip-Fertigungsanlagen sollten nicht an China verkauft werden; zudem müssen Schmuggel und Umgehungswege zur Beschaffung von Chips bekämpft werden
• Chinas heimische Produktionskapazität ist begrenzt, und nach den Scaling Laws wird eingeschätzt, dass China ohne US-Chips keine leistungsstärkeren Modelle als die USA entwickeln kann
• Chipkontrollen blockieren die erste Bedrohung — dass autoritäre Regierungen stärkere Modelle als die USA bauen — am effizientesten und direktesten
• Indem es schwieriger wird, leistungsstarke Modelle außerhalb des Geltungsbereichs US-amerikanischen Rechts zu trainieren, können sie indirekt auch Cyber- und Biologieangriffe sowie Alignment-Risiken verringern
• Das US-Justizministerium hat mehrere Fälle offengelegt, in denen versucht wurde, fortgeschrittene KI-Technologie illegal nach China auszuführen oder zu schmuggeln; Anthropic fordert eine stärkere Durchsetzung gegen solchen Schmuggel und Umgehungsmechanismen

Bekämpfung von Distillation im industriellen Maßstab

• Model Distillation ist recheneffizienter als das Training eines Modells von Grund auf und ermöglicht China, bessere Modelle zu erstellen, als es mit dem verfügbaren Chipbestand möglich wäre, wodurch Chipkontrollen teilweise umgangen werden
• Distillation allein kann der Kommunistischen Partei Chinas keine KI-Fähigkeiten auf Augenhöhe mit den USA oder darüber hinaus verschaffen, könnte Chinas Frontier-Modelle aber auf ein Niveau bringen, das nur wenige Monate hinter den USA liegt
• Auch wenn viele Distillation-Unternehmen Open-Weight-Modelle veröffentlichen, ist der Kernpunkt nicht die Veröffentlichungsform, sondern dass ein autoritärer Staat industrielle Operationen unterstützt, um die US-Frontier zu überholen
• Statt eines pauschalen Open-Weight-Verbots braucht es gezielte politische, rechtliche und kommerzielle Rahmenwerke, um Distillation einzudämmen
• Auch Anthropic identifiziert und sperrt Konten, die seine Modelle für groß angelegte Distillation nutzen
  • Manchmal werden die betreffenden Konten erst entdeckt, nachdem bereits erhebliche Distillation stattgefunden hat
  • Es werden laufend viele Fake-Konten erstellt, sodass sich auch die Durchsetzungsziele ständig ändern
  • Maßnahmen einzelner Unternehmen reichen dafür kaum aus; politische Intervention ist nötig

Verpflichtende Sicherheitstests nach Fähigkeiten

• Alle ausreichend leistungsstarken Modelle sollten unabhängig davon, ob sie offen oder geschlossen sind und aus welchem Land sie stammen, vor der Veröffentlichung auf Cyber-, Biologie- und Alignment-Risiken getestet werden
• Die Trump-Regierung hat sich zuletzt in diese Richtung bewegt, und auch ein Branchenvorschlag umfasst die Anwendung derselben Tests auf die leistungsstärksten Modelle
• Modelle mit geringeren Fähigkeiten, die von Startups und Hochschulen entwickelt werden, können vollständig von verpflichtenden Tests ausgenommen werden
• Ob offene Modelle tatsächlich riskanter sind und ob sich diese Risiken mindern lassen, sollte nicht vorab angenommen, sondern anhand von Testergebnissen beurteilt werden
• Es gibt auch Ansätze, die die Sicherheit von Open-Weight-Modellen erhöhen könnten, etwa Anthropics Forschung zu modularen Trainingsstrategien
• Wirksame Sicherheitstests erfordern internationale Anwendung, daher ist auch die Beteiligung der Kommunistischen Partei Chinas erforderlich
• Die Verhinderung von KI-Biowaffen könnte auch im Interesse Chinas liegen, weshalb in diesem Bereich begrenzte Kooperation für möglich gehalten wird

Unterschiede zum offenen Brief zu Open Weights

• Anthropic stimmt Teilen des offenen Briefs zu Open Weights und amerikanischer KI-Führungsrolle zu
  • Open Weights erweitern den Zugang zur KI-Wirtschaft
  • Sie erhöhen in einigen Anwendungsfällen den Wettbewerb
  • Sie geben Kunden mehr Kontrolle
  • Das Distillation-Problem sollte durch gezielte rechtliche und kommerzielle Rahmenwerke behandelt werden, nicht durch ein pauschales Verbot
• Anthropic stimmt jedoch nicht der Annahme zu, dass Open Weights zwangsläufig die Entwicklung von Sicherheitsmaßnahmen erleichtern oder dass breiter Zugang zu Fähigkeiten eher Verteidigern als Angreifern nützt
• In der Praxis könnte breiter Zugang Angreifern stärker nützen; daher muss empirisch überprüft werden, welche Seite im Vorteil ist

Angreifer-Verteidiger-Asymmetrie in der Biologie

• Ausreichend leistungsstarke Modelle könnten mit breit verfügbaren Materialien Viren auf Pandemie-Niveau schnell waffenfähig machen, während die Verteidigung dagegen selbst im besten Fall eine operative Aufgabe über Jahre sein könnte
• Wie das Beispiel Operation Warp Speed zeigt, dauert es lange, entsprechende Reaktionstechnologien und Systeme aufzubauen; in der Biologie könnte daher ein starkes Angreifer-Übergewicht bestehen
• Derzeit wird angenommen, dass der Faktor, der biologische Katastrophen verhindert, weniger in Verteidigern oder Materialbeschränkungen liegt, sondern in der negativen Korrelation zwischen intellektueller Fähigkeit und der Absicht, katastrophalen Schaden anzurichten
• Frühere Technologien wie Internetsuche oder DNA-Synthese waren nicht stark genug, um diese Korrelation aufzubrechen; bei der derzeitigen Entwicklungsgeschwindigkeit besteht jedoch die Sorge, dass KI dies bald tun könnte
• Wenn eine ausreichend leistungsstarke Technologie alle Barrieren beseitigt, zeigt sich, ob Angreifer oder Verteidiger strukturell im Vorteil sind; in der Biologie könnten Angreifer überlegen sein
• Diese Risiken sollten nicht anhand von Schätzungen oder Vorannahmen über die Veröffentlichungsform beurteilt werden, sondern durch strenge Tests vor der Veröffentlichung

Von Anthropic geforderte Politik

• Open-Weight-Modelle nicht als gesamte Kategorie verbieten
• Export- und Schmuggelkontrollen verstärken, damit autoritäre Regierungen keine Hochleistungschips und Fertigungsanlagen erhalten
• Model Distillation im industriellen Maßstab mit rechtlichen, kommerziellen und politischen Mitteln blockieren
• Für alle offenen und geschlossenen Modelle mit ausreichenden Fähigkeiten Tests auf Cyber-, Biologie- und Alignment-Risiken verpflichtend machen

[unsure4000]

Wenn ich alle gekauften Token aufgebraucht habe, werde ich dich wohl nicht wiedersehen. Adios.

[sea715]

Hinter den Kulissen Lobbyarbeit zu machen und sich dann für Open Source auszusprechen, ist schon wirklich erstaunlich. Irgendwie habe ich das Gefühl, dass Anthropic zu Arasaka wird, wenn sie AGI erreichen.

[GN⁺]

Hacker-News-Kommentare

• Die Aussage „Alle Modelle mit hinreichenden Fähigkeiten müssen verpflichtende Sicherheitstests durchlaufen“ kommt faktisch einer Verbotsforderung für Open-Weight-Modelle gleich
  Wer prüft das, und was passiert, wenn die Kosten überzogen sind oder die Aufsicht bestimmten Teilnehmern die Zulassung verweigert? Die USA haben in der Vergangenheit Produkte auch schon dadurch verboten, dass sie Pflichtzertifizierungen eingeführt und deren Erteilung verweigert haben

  • Anthropic dürfte argumentieren, dass die eigenen Modelle bewertet werden sollten, da sie nur zusammen mit Sicherheitsschichten bereitgestellt werden, Open-Weight-Modelle aber mit denselben Tests auf Gewichtsebene selbst bestehen müssten
    Die wirtschaftlichen Folgen wären groß, der Sicherheitsgewinn scheint jedoch gering. Das überzeugendste Argument wäre wohl, dass sich durch Einschränkungen für Open-Weight-Modelle in den USA Vorfälle wie der jüngste Angriff auf Hugging Face reduzieren ließen, aber die Regierung dürfte Mühe haben, solche Prüfanforderungen praktisch durchzusetzen
    Für Open-Weight-Modelle ist es faktisch unmöglich, dieselben Sicherheitsstandards wie API-Modelle zu erfüllen, selbst wenn ihre Entwickler das wollten. Zugriff und Inferenzfähigkeiten lassen sich zwar durch IP-Sperren und Exportkontrollen begrenzen, gegen böswillige Akteure ist das aber kaum wirksam
  • Als einer der Gründe für den Rückzug von Fable wurde ein Jailbreak genannt, der die Anweisung gab: „Fix this code“ — https://news.ycombinator.com/item?id=48552687
    Wenn ein Modell auf „Mythos-Niveau“ so gefährlich ist, sollte man es lieber einfach aller Leute Code reparieren lassen. Weltweit gibt es bei Softwarefirmen, Services und aktiven freien und Open-Source-Projekten höchstens einige Millionen bis zig Millionen, also könnte man jedem 100 Dollar an Fable-/Mythos-Credits geben, damit sie ihren eigenen Code verbessern können
    Anthropic könnte mit 100 Millionen bis 1 Milliarde Dollar die größte Werbekampagne der Menschheitsgeschichte fahren und zugleich die weltweite Sicherheit stärken. Die meisten Menschen sind nicht böswillig, und Ingenieure, Berater, Gründer, Geschäftsinhaber und Maintainer würden Mythos wahrscheinlich nutzen, um ihren eigenen Code zu verbessern
    Wenn man diese Fähigkeiten hinter Genehmigungsschranken und verschlossenen Türen einsperrt, entsteht langfristig größerer Schaden und eine asymmetrische Welt, in der diejenigen mit Zugang entscheiden, wer sicher sein darf. Wenn jeder Mythos hat, besitzt niemand ein exklusives „Mythos“, also sollte man die Leute einfach ihren Code reparieren lassen
  • Die Sicherheitsbewertungsindustrie wird faktisch von OpenAI und Anthropic finanziert und kontrolliert
    Neuere Modelle nutzen nur externe, nicht öffentliche Bewertungsfirmen wie Gray Swan, die für interne Tests oder ihr gesamtes Geschäft von diesen beiden Unternehmen abhängen, und diese Firmen schöpfen zudem aus demselben kleinen Pool an Forschern
  • Es wirkt, als wolle man die Kosten für Sicherheitstests auf über 100 Millionen Dollar treiben, damit niemand ohne sehr hohe Preise ein Modell auf den Markt bringen kann, das in großen Teilen der Welt legal nutzbar wäre, und am Ende niemand konkurrierende Modelle einsetzen kann
  • Es fehlt auch eine Definition von „hinreichende Fähigkeiten“. Vermutlich sind damit alle Modelle gemeint, die mit Anthropic konkurrieren, und falls das Unternehmen in einem Jahr noch existiert, würde es sich wohl nicht um Modelle auf Fable-Niveau kümmern, sondern nur um solche, die dann mit den eigenen Modellen wie Claude 7 konkurrieren

• China wird als Schrödingers China behandelt: einerseits als Bedrohung, die AI für böse Zwecke einsetzen will, andererseits als Land, das mit dem rivalisierenden Amerika kooperieren soll, um zu verhindern, dass andere unbekannte Akteure dasselbe Ziel erreichen
  In Wirklichkeit ist es simpel. Der CEO von Anthropic will nicht, dass breit verfügbare Modelle, die den eigenen geschlossenen und teuren Modellen ähneln oder sie übertreffen, den Umsatz schmälern
  Das besondere Kapital von Anthropic und ähnlichen Modellfirmen ist nur der privilegierte Zugang zu Chips, daher ist es naheliegend, beschränken zu wollen, welche Modelle erscheinen und wer neue Modelle bauen kann. Ohne Regulierung ist es nur eine Frage der Zeit, bis Unternehmensbewertungen in Höhe von Hunderten Milliarden Dollar verschwinden

  • Dario scheint wie immer zu glauben, er selbst sei das Zentrum der Welt. China hat keinen Grund, eine amerikanische AI-Vorherrschaft widerstandslos hinzunehmen, und könnte sie schon durch eine Blockade Taiwans mit ein paar Schiffen stoppen
  • Es ist absurd, dass man glaubte, die an den Haaren herbeigezogene Logik dieses Blogposts würde das Image von Anthropic verbessern
    Schweigen wäre noch respektabler gewesen. Obwohl offensichtlich ist, dass offene Modelle heftigen Wettbewerb auslösen oder die Umsatzbasis zerstören könnten, wird der Versuch, die Macht über alle menschliche Arbeit zu monopolisieren, als moralische Überlegenheit verkauft
  • Der Text fordert sowohl Beschränkungen für Hardware nach China als auch für die Nutzung chinesischer Open-Source-Modelle im Westen und verpackt das als „Wir sind für Wettbewerb, aber …“
    Dass China AI-Innovationen als Open Source veröffentlicht und damit die AI-Blase gebremst oder schneller zum Platzen gebracht hat, war aus meiner Sicht eine kluge Entscheidung im eigenen Interesse

• Im ersten Absatz heißt es, Verbote seien nicht nützlich, später dann, man müsse Schmuggel und Umgehungswege unterbinden, mit denen China an Chips kommt
  Der Glaube, dass Verbote nicht wirken, müsste dann genauso auch für Hardware gelten
  Die drei Maßnahmen, die Dario unterstützt, sind ein Verbot von Chipverkäufen nach China, Maßnahmen gegen Distillation und verpflichtende Sicherheitstests für alle Hochleistungsmodelle, und zufällig nützen alle drei Anthropic geschäftlich. Wenn Anthropic auch nur ein einziges Open-Weight-Modell veröffentlicht hätte, wäre das viel überzeugender gewesen

  • Ein Verbot chinesischer Open-Weight-Modelle in den USA und ein Exportverbot für AI-Chips und Halbleiterfertigungsanlagen nach China sind völlig verschiedene Themen, daher ist es kein Widerspruch, das eine abzulehnen und das andere zu unterstützen
  • Wenn Anthropic Open-Weight-Modelle veröffentlicht hätte und China diese destillieren und heimlich für böswillige Zwecke nutzen würde, ergäbe dieses Schreiben deutlich mehr Sinn
  • Kurz gesagt: Man will in einer Position bleiben, in der Anthropic trotz Konkurrenz weiter gewaltig viel Geld verdient

• Bis gestern schien es jemandem egal zu sein, dass die eigene Technologie möglicherweise zum Bombardieren von Mädchenschulen in einem anderen Land eingesetzt wird, und plötzlich sorgt er sich um die Unterdrückung der Bürger noch eines anderen Landes
  Solche moralische Selbstdarstellung oder überlegenen Belehrungen über das „Albtraumszenario“ des Jahres sind schwer glaubhaft

  • Interessant war, dass im Abschnitt über die Unterdrückung abweichender Meinungen ausgerechnet die aktuelle Trump-Regierung zitiert wurde
  • Es ist schwer zu glauben, dass Dario sich aufrichtig um das Wohlergehen der Chinesen sorgt. Wenn die USA gegen China Krieg führten und Städte bombardierten, würde er das wohl unterstützen und Claude nutzen, um DeepSeek und Moonshot auf die Zielliste zu setzen
    Trotz proisraelischer Haltung hat er nie das Risiko thematisiert, dass die israelische Regierung AI zur Kontrolle und Unterdrückung anderer Bevölkerungen einsetzt, und er arbeitet aktiv mit Palantir zusammen, dessen ausdrückliches Ziel Bevölkerungskontrolle, Unterdrückung und der Aufbau eines Überwachungsstaats ist
    Nordkorea, eines der repressivsten Länder der Welt, schafft all das auch ohne AI. Würde man Chinesen Darios Vorstellung erzählen, DeepSeek oder Kimi würden sie unterdrücken, würden sie ihn vermutlich auslachen

• Ich kann mich nicht erinnern, dass ein Unternehmen so schnell von einer Goldesel-Position in einen Zustand völliger Unklarheit abgestürzt ist.
  Wegen des ständig defensiven Tons, der Darios Ankündigung zugrunde liegt, habe ich sogar das Bedürfnis verloren, Anthropic-Produkten zu vertrauen oder mich auf sie zu verlassen. Ich verstehe nicht einmal, wen dieser Text überzeugen sollte, und es wirkt, als brauche Anthropic eine Generalüberholung.

  • Anthropics öffentliche Kommunikation in den letzten Monaten war erstaunlich schlecht, was in einem so hart umkämpften Markt schwer nachvollziehbar ist.
  • Die Hauptinvestoren Google und Nvidia haben die Open-Source-Petition unterzeichnet, Amazon hingegen nicht, daher wirkt es, als versuche man gleichzeitig gespaltene Investoren und die Öffentlichkeit zufriedenzustellen.
    Es ist eine vage Haltung, die alle mit klareren Positionen besänftigen soll, aber das Ergebnis ist ziemlich schlecht.
  • Anthropic war schon immer so. Nur wurde dieselbe Botschaft wohlwollender aufgenommen, als sie noch ein exzentrischer Underdog waren; jetzt wirken sie wie ein Billionen-Dollar-Konzern.

• Es klingt wie: Die böse Kommunistische Partei Chinas sei eine große Bedrohung für Weltfrieden und das Gute, also solle man für eine regelbasierte internationale Ordnung, in der die guten Kräfte florieren und korrupte Schildkrötenbiologen beseitigt werden, all sein Geld und seine Input-Token-Daten an Palantir geben.
  https://www.theguardian.com/world/2026/jun/20/mona-khalil-tu...

  • In einer Lage, in der die halbe Welt unter Energiepreisen leidet, ausgelöst durch einen ungerechtfertigten Krieg, den die USA und Israel begonnen haben, ist es abstoßend, wenn ein US-Milliardär China als Bedrohung für den Weltfrieden darstellt.

• Die Logik läuft letztlich darauf hinaus: „Diese Technologie ist zu gefährlich, deshalb dürfen nur wir Zugriff darauf haben, und weil wir die Guten sind, können wir eine sichere Nutzung garantieren.“
  Wer aber überwacht die Wächter?

  • Die Existenzberechtigung von Anthropic beruht selbst auf der Überzeugung, dass AGI zu gefährlich sei, um von OpenAI oder Sam Altman kontrolliert zu werden. Dann liegt der Schluss nahe, dass es ebenso gefährlich wäre, wenn alle Menschen auf der Erde sie hätten.
  • Anthropic fordert kein generelles Verbot von Open-Weight-Modellen, sondern vertritt die Position, dass autoritäre Kräfte keinen Zugang zu Hochleistungschips erhalten sollten, Destillation im industriellen Maßstab blockiert werden sollte und Sicherheitsprüfungen für alle ausreichend leistungsfähigen Modelle vorgeschrieben sein sollten, unabhängig davon, ob sie offen oder geschlossen sind.

• Wenn man die vollständige Verbreitung offener Modelle unterstützt, was soll dann mit Open-Weight-Modellen geschehen, die biologische Waffen und Cyberangriffsfähigkeiten enthalten?
  Sollte man es als Preis der Freiheit akzeptieren, Angreifern solche Werkzeuge zu erlauben? Der OpenAI/Hugging Face-Vorfall hat die Fähigkeiten eines uneingeschränkten Modells auf GPT-5.6-Niveau gezeigt, und in etwa 6 Monaten könnten Open-Weight-Modelle dieses Niveau ebenfalls erreichen, sodass alle böswilligen Akteure Angriffe in derselben Größenordnung durchführen können.
  Offenheit zu bevorzugen ist vernünftig, aber in jeder Lage reflexhaft dafür zu sein, ohne die Folgen ernsthaft zu bedenken, ist übermäßig naiv.

  • Der Hugging-Face-Vorfall zeigt gut, warum wir Open-Source-Modelle mit defensiven Cyber-Fähigkeiten brauchen.
    Hugging Face hatte keinen Zugang zu modernsten Modellen mit Cyber-Fähigkeiten und wurde ständig von Sicherheitsmechanismen blockiert; erst mit dem Open-Source-Modell GLM-5.2 konnte man den Angriff überstehen. Wenn Open-Source-Modelle verboten werden, können Organisationen, die nicht auf der Zulassungsliste von OpenAI oder Anthropic stehen, keine Cybersicherheit sicherstellen.
  • Böswillige Akteure werden ohnehin Zugang bekommen. Die eigentliche Frage ist, ob Großkonzerne Innovation blockieren werden.
  • Bei biologischen Waffen weiß ich es nicht, aber bei Informationssicherheits-Fähigkeiten bin ich optimistisch.
    Es wird eine schmerzhafte Risikophase geben, in der Code, der über 30 Jahre lang keiner solchen Analyse ausgesetzt war, plötzlich von einer Million Personen mit Fähigkeiten auf dem Niveau von „taviso“ geprüft wird, aber Entwickler und Verteidiger können dieselben Werkzeuge nutzen. Auch wenn es eine Asymmetrie gibt, bei der Verteidigung teurer ist, bleibt es ein sich stabilisierendes Wettrüsten, und letztlich dürfte die formale Verifikation von Sicherheitseigenschaften zunehmen, während dieselben Modelle die Kosten dafür weiter senken.
    Destillation und Open-Weight-Modelle werden nicht verschwinden, und es gibt kaum eine Möglichkeit, sie wirksam zu verbieten oder zu kontrollieren. Es könnten sogar Self-Service-Werkzeuge entstehen, mit denen Nichtfachleute eigene moderne Modelle mit Informationssicherheits-Fähigkeiten selbst destillieren und betreiben können.
    Wenn man Verteidiger ist, reagiert man am besten unter dieser Annahme, und selbst wenn man über Zulässigkeit diskutiert, wird in diesem Zeitraum kein globales Durchsetzungssystem entstehen.
  • Wenn das Risiko wirklich so groß ist, müsste man LLMs wie Atombomben behandeln. Die USA müssten mit anderen Ländern vereinbaren, dass niemand mehr AI-Modelle entwickelt, und die einzige Möglichkeit, andere von einem Stopp zu überzeugen, wäre, dass die USA nicht alle Vorteile für sich beanspruchen, sondern selbst zuerst mit gutem Beispiel vorangehen.
  • Von Biologie verstehe ich nichts, aber Cyberangriffsfähigkeiten sind bereits bei Angreifern vorhanden und nicht mehr rückgängig zu machen.
    Ob ein Modell offen oder geschlossen ist, ist nicht besonders wichtig, und selbst wenn die aktuellen Sicherheitsmechanismen zu Fehlalarmen neigen, kann man mit geschlossenen Modellen erheblichen Cyber-Schaden anrichten.
    Die einzige wirksame Kontrolle besteht darin, das Spielfeld zu ebnen, sodass Angreifer und Verteidiger Zugang zu denselben Fähigkeiten haben. Wenn man, wie Dario vorschlägt, eine Schranke errichtet, die Angreifer umgehen können, Verteidiger aber nicht, ist Chaos garantiert.

• Was Dario immer wieder übersieht, ist, dass die Menschen den USA nicht mehr zutrauen, aligned AI zu schaffen.
  Seine gesamte Strategie beruht auf der Annahme, dass die USA und die US-Regierung außergewöhnlich gut seien, doch für den Rest der Welt wirkt das offenkundig falsch.

  • Im Bloomberg-Interview hat Dario ausdrücklich gesagt, dass er an US-Exzeptionalismus glaubt. Er sagte, weil er der US-Militärführung vertraue, sei es in Ordnung, wenn AI am Bombardieren von Schulmädchen in anderen Ländern beteiligt sei.
    Seiner Ansicht nach sollten die Sicherheits- und Moralregeln der ganzen Welt allein von den USA geschrieben werden, und im selben Interview bezeichnete er bei gleichzeitiger Unterstützung der US-Außenpolitik China als ein „aggressives und kriegstreiberisches Regime“.
    Auch unter US-Amerikanern gibt es immer mehr Menschen, die das für falsch halten, aber da die oligarchische Elite am meisten von der Politik der US-Regierung profitiert, wird die Propaganda weitergehen.

• Ich verstehe sowohl die Logik, mit der Anthropic die Entwicklung vorantreibt und zugleich einen Stopp sowie Regulierung fordert, als auch, warum Einzelne trotz Wunsch nach Verlangsamung weiter in AI-Unternehmen arbeiten.
  Aber wenn alle so denken, verschärft sich der Wettbewerb weiter, während man auf eine Einigung wartet, die vielleicht nie kommt, und nichts ändert sich; die ökonomischen Anreize rechtfertigen das Weitermachen für alle Beteiligten.
  Ich hoffe auf konkreteres Handeln von innen. Wenn Urteile zu komplex werden, sollte man zu Grundprinzipien zurückkehren. Wenn man glaubt, dass sich AI zu schnell entwickelt, sollte man die Entwicklung stoppen, und wenn AI-Unternehmen einen Stopp wollen, sollten sie selbst zuerst damit anfangen und ein Beispiel setzen.
  Andere Unternehmen könnten folgen, und wer es nicht tut, würde verantwortungslos wirken. Wer beschlossen hat, nicht länger zu sündigen, sollte zuerst den Stein aus der Hand legen.