- Das KI-Forschungsunternehmen Anthropic hat ein zentrales Versprechen seiner wichtigsten Sicherheitsrichtlinie, der Responsible Scaling Policy (RSP), zurückgezogen
- Zuvor hatte das Unternehmen zugesagt, das Training von KI-Modellen zu stoppen, falls Sicherheitsmaßnahmen nicht ausreichend gewährleistet seien; in der neuen Richtlinie wurde dieser Passus gestrichen
- Die neue RSP verspricht mehr Transparenz und Sicherheitsanstrengungen mindestens auf dem Niveau der Konkurrenz und hält fest, dass die Entwicklung bei schwerwiegenden Risiken „verzögert“ werden könne
- Das Unternehmen erklärt, die Änderung sei nicht durch Marktdruck verursacht, sondern eine Reaktion auf politische und wissenschaftliche Realitäten
- Fachleute bewerten den Schritt als Signal dafür, dass die gesellschaftliche Vorbereitung auf das Risiko einer KI-Katastrophe unzureichend ist
Hintergrund der Änderungen an der RSP (Responsible Scaling Policy)
- Anthropic kündigte 2023 an, keine KI-Systeme zu trainieren, wenn Sicherheitsmaßnahmen nicht ausreichend nachgewiesen seien
- Dies war eine zentrale Richtlinie, die das Unternehmensbild stärkte, Sicherheit über den Marktwettbewerb zu stellen
- Kürzlich hat das Unternehmen die RSP umfassend überarbeitet und das Versprechen zurückgezogen, ohne vorherige Sicherheitsgarantien keine Modelle zu veröffentlichen
- Jared Kaplan (Chief Science Officer) erklärte, „ein einseitiges Versprechen sei angesichts der Geschwindigkeit des KI-Fortschritts nicht realistisch“
Die wichtigsten Inhalte der neuen Richtlinie
- Die neue RSP umfasst mehr Transparenz bei KI-Sicherheitsrisiken
- Anthropic will zusätzliche Ergebnisse von Sicherheitstests seiner Modelle offenlegen und festhalten, Sicherheitsmaßnahmen mindestens auf dem Niveau der Konkurrenz beizubehalten oder zu übertreffen
- Falls das Unternehmen im KI-Wettlauf vorne liegt und das Risiko einer Katastrophe als hoch eingeschätzt wird, kann es die Entwicklung „verzögern“
- Eine klare Grenzlinie, die wie früher das Training von Modellen ab einem bestimmten Niveau untersagt, existiert jedoch nicht mehr
Industrieller Kontext der Richtlinienänderung
- Anthropic erzielt derzeit kommerzielle Erfolge mit dem Claude-Modell und Claude Code
- Im Februar 2026 wurden eine Kapitalaufnahme von 30 Milliarden US-Dollar, eine Bewertung von rund 380 Milliarden US-Dollar und ein verzehnfachtes jährliches Umsatzwachstum gemeldet
- Das B2B-orientierte Geschäftsmodell des Unternehmens gilt als verlässlicher als die verbraucherorientierte Strategie von OpenAI
- Kaplan betonte, die Änderung sei nicht auf Marktdruck zurückzuführen, sondern eine pragmatische Anpassung an veränderte politische und wissenschaftliche Rahmenbedingungen
Regulatorische und wissenschaftliche Grenzen
- Bei der Einführung der RSP hatte Anthropic gehofft, dass andere Unternehmen ähnliche Maßnahmen übernehmen würden, doch dazu kam es nicht
- Es folgten das Fehlen eines bundesweiten KI-Regulierungsgesetzes in den USA, die deregulatorische Linie der Trump-Regierung und das Scheitern internationaler Zusammenarbeit
- Auch die Komplexität der Wissenschaft zur KI-Evaluierung wird als Problem genannt
- 2025 erklärte Anthropic, man könne nicht ausschließen, dass die eigenen Modelle für Bioterrorismus missbraucht werden könnten, doch es fehlte an wissenschaftlicher Grundlage, um dies zu belegen
Interne Diskussionen und Entscheidungsprozess
- Rund ein Jahr lang diskutierte die Unternehmensführung über eine Neugestaltung der RSP für das neue Umfeld
- Ein zentraler Punkt war das Gründungsprinzip, dass für KI-Sicherheitsforschung Frontline-Modelle direkt entwickelt werden müssen
- Laut Kaplan kam CEO Dario Amodei zu dem Schluss, „dass es sogar gefährlicher wäre, wenn nur Anthropic stoppt, während die Konkurrenz weiterentwickelt“
- In der Einleitung der neuen RSP heißt es: „Wenn der Entwickler mit den schwächsten Schutzmaßnahmen das Tempo bestimmt, verlieren verantwortungsvolle Entwickler ihre Fähigkeit zur Sicherheitsforschung“
Externe Bewertungen und Sorgen
- Chris Painter (Policy Director bei METR) bewertet die Änderung als nachvollziehbar, sieht darin aber auch, dass die gesellschaftliche Vorbereitung auf KI-Katastrophenrisiken unzureichend ist
- Er sagte, Anthropic habe in einen Notfallmodus (Triage-Modus) gewechselt, weil Risikobewertung und Methoden zur Risikominderung mit dem Tempo des technischen Fortschritts nicht Schritt halten
- Painter bewertete die transparente Risikoberichterstattung und die Veröffentlichung einer Sicherheits-Roadmap in der neuen Richtlinie positiv,
- warnte jedoch, dass mit dem Wegfall der binären Stopp-Schwelle (binary threshold) der früheren RSP ein „Frosch-im-kochenden-Wasser-Effekt“ entstehen könne, bei dem Risiken schleichend zunehmen
Künftige Pläne und Offenlegungszusagen
- Anthropic erklärt, die neue RSP bewahre die zentralen Vorteile der bisherigen Richtlinie
- In der Vergangenheit wirkten Beschränkungen bei der Modellveröffentlichung als Anreiz für die Entwicklung von Sicherheitsmaßnahmen
- Um diesen Anreiz auch in der neuen Richtlinie zu erhalten, will das Unternehmen regelmäßig „Frontier Safety Roadmaps“ veröffentlichen
- Außerdem sollen alle 3 bis 6 Monate „Risk Reports“ erscheinen, die
- Fähigkeiten der Modelle, Bedrohungsszenarien, Maßnahmen zur Risikominderung und das gesamte Risikoniveau bewerten
- Kaplan betonte: „Wenn Wettbewerber transparent mit katastrophalen Risiken umgehen, wird Anthropic gleichwertige oder höhere Sicherheitsstandards einhalten“
2 Kommentare
Selbst wenn Anthropic noch so stur bleibt, muss es am Ende wohl doch tun, was das US-Verteidigungsministerium vorgibt. War es letztlich nicht absehbar, dass es genau so kommen würde?
Hacker-News-Kommentare
Dass Anthropic als Begründung für die Rücknahme seines Versprechens, das Training von AI-Modellen auszusetzen, angab, „weil die Konkurrenz voraus ist“, zeigt letztlich wohl, dass es am Ende ums Geld geht
Es klingt nach der Logik: „Wenn alle Hunde treten, müssen wir das auch tun.“
Die Leute glaubten, Anthropic sei ein „gutes Unternehmen“, aber am Ende verfolgen sie alle nur den Profit
In der Realität stehen die meisten AI-Unternehmen aber unter einer „Regierung auf dem Papier“
Das ist kein Problem nur von AI-Unternehmen, aber deshalb ist es noch lange nicht gerechtfertigt
Deshalb sind Regeln zu Sicherheit, Umwelt und Korruptionsbekämpfung zwingend nötig
Wirkt wie der typische Zyklus eines AI-Startups
„Lasst uns einen Burggraben bauen, um die Menschheit zu retten“ → „Lasst uns Open-Source-Konkurrenten regulieren“ → „Sicherheit stört die Q3-Zahlen“
In Wirklichkeit sind sie geschlossen und gaslighten die Leute damit, sie seien „offen“
Ich habe früher bei Anthropic gearbeitet, und Leute wie Jared Kaplan haben sich aufrichtig darum bemüht, Sicherheitsforschung und Frontier-Technologie in Balance zu halten
Diese Entscheidung ist aber enttäuschend. Ich glaubte, die „Responsible Scaling Policy“ sei ein substanzielles Versprechen, das selbst in solchen Situationen eingehalten würde
Dieses Versprechen ließ Anthropic wie „das am wenigsten riskante Labor“ erscheinen, aber dieses Signal ist jetzt schwächer geworden
Ich mache mir Sorgen, dass künftig der Erhalt des eigenen Postens wichtiger wird als Prinzipien
Wenn aber noch Werte übrig sind, halte ich es trotzdem für besser, wenigstens unter Labs ohne jede Werte noch Einfluss auszuüben
Moralische Verantwortung müssen wir alle mittragen
Dass sie dieses Signal selbst zurückziehen, bedeutet, dass sie sich nun an einen anderen Markt wenden wollen
Bewerber mussten einen Aufsatz über AI-Sicherheit schreiben, und alle spielten das Theater vom „Retten der Welt“ mit
Aber jetzt, wo Geld auf dem Spiel steht, sagt plötzlich niemand mehr etwas
Unternehmen können strukturell ihrem Instinkt zur Gewinnmaximierung nicht entkommen
Diese Entscheidung erinnert an den Moment, als Mozilla DRM akzeptierte
Nicht perfekt, aber Anthropic versucht immerhin noch, ein Mindestmaß an Verantwortungsbewusstsein zu zeigen
Im Vergleich zu OpenAI gibt es dort zumindest vorerst noch eher Grund für Vertrauen
Die Überschrift des Artikels ist übertrieben. In dieser Kontroverse geht es nicht um Verhandlungen mit dem Pentagon, sondern um die von Anthropic veröffentlichte Responsible Scaling Policy 3.0
Im Gegenteil, es könnte auch eine präventive Maßnahme sein
Es gab Druck vonseiten der Regierung, aber der Artikel erwähnt das überhaupt nicht
Ein Beitrag, der mit „Als man anfangs Modelle ohne Sicherheitsprüfung veröffentlichte, sagte niemand etwas …“ beginnt, klingt wie eine warnende Parabel
Am Ende war niemand vorbereitet, und als das Problem auftrat, war es zu spät
Das eigentliche Problem liegt eher im Bereich Politik und Kultur als in der Technologie
Dass das Sicherheitsversprechen gerade jetzt zurückgezogen wurde, ist vielsagend
Solche Unternehmen halten sich an ethische Kodizes, bis ihre Gewinne bedroht sind, und werfen sie dann sofort über Bord
Am Ende geht es darum, den Wert von White-Collar-Arbeit zu entwerten
Werden sie diesen Übergang ethisch gestalten oder den Wohlstand einfach an die Aktionäre umleiten?
Das ist, als würde eine Schlange ihren eigenen Schwanz fressen
Das Wesen von Unternehmen ist Gewinnstreben, und das ist an sich nicht schlimm, aber diese moralischen Gesten wirken heuchlerisch
Googles „Don’t be evil“ hielt 15 Jahre durch, aber Anthropics Responsible Scaling Policy verschwand nach nur zweieinhalb Jahren
Die Halbwertszeit des AI-Idealismus wird immer kürzer
Schade, dass Anthropic sich verändert, aber realistisch gesehen darf man selbst aus Sicherheitsgründen im Wettbewerb nicht zu weit zurückfallen
Jetzt ist Pragmatismus gefragt. Anthropic könnte später „böse werden“, aber im Moment ist es noch immer die sicherste Seite
Positiv gesehen wird, dass der CEO den militärischen Einsatz von AI abgelehnt hat
Man sollte wachsam werden, bevor es zu spät ist