Project Glasswing: Erstes Update
(anthropic.com)- Project Glasswing ist ein Kooperationsprojekt zum Schutz wichtiger Software, bevor leistungsfähigere KI-Modelle missbraucht werden; rund 50 Partner sind beteiligt
- Claude Mythos Preview fand in Partner-Code mehr als 10.000 Schwachstellen mit hoher oder kritischer Schwere, und bei mehreren Partnern beschleunigte sich die Entdeckungsrate um mehr als das 10-Fache
- In mehr als 1.000 Open-Source-Projekten wurden 23.019 Schwachstellen geschätzt; von 1.752 überprüften Fällen bestätigten sich 90,6 % als echte Treffer
- Der Engpass hat sich von der Schwachstellenfindung zu Verifizierung, Meldung, Patchen und Ausrollen verlagert; bis zum Patch vergehen bei Bugs mit hoher oder kritischer Schwere im Schnitt zwei Wochen
- Anthropic hat Modelle auf Mythos-Niveau noch nicht allgemein veröffentlicht; Entwickler und Verteidiger müssen Patch-Zyklen verkürzen und grundlegende Sicherheitskontrollen stärken
Erste Ergebnisse und Offenlegungsprinzipien
- Project Glasswing ist ein Kooperationsprojekt zum Schutz weltweit wichtiger Software, bevor leistungsfähigere KI-Modelle missbraucht werden
- Anthropic und rund 50 Partner identifizierten mit Claude Mythos Preview in wichtiger Software mehr als 10.000 Schwachstellen mit hoher oder kritischer Schwere
- Der Engpass in der Softwaresicherheit verlagert sich von der Geschwindigkeit, mit der neue Schwachstellen gefunden werden, hin zur Geschwindigkeit, mit der die von KI gefundenen großen Mengen an Schwachstellen verifiziert, offengelegt und gepatcht werden
-
Vorgehen bei der Offenlegung von Schwachstellen
- Übliche Praxis bei der Offenlegung von Schwachstellen ist die Veröffentlichung 90 Tage nach Entdeckung einer neuen Schwachstelle oder, falls vor Ablauf von 90 Tagen ein Patch bereitsteht, etwa 45 Tage nach Bereitstellung des Patches
- Auch die Coordinated Vulnerability Disclosure policy von Anthropic folgt diesem Vorgehen; es soll Endnutzern Zeit verschaffen, vor Angriffen zu aktualisieren
- Eine frühe Offenlegung von Details zu den von Mythos Preview bei Partnern gefundenen Schwachstellen könnte Endnutzer gefährden; daher werden derzeit vor allem repräsentative Beispiele und aggregierte Statistiken geteilt
- Nach breiter Verteilung der Patches sollen detailliertere technische Informationen veröffentlicht werden
Leistung bei Partnern und in externen Bewertungen
- Die ersten Partner von Project Glasswing entwickeln und warten Software, die für das Funktionieren des Internets und kritischer Infrastruktur zentral ist
- Wenn Fehler in diesem Code behoben werden, sinkt das Risiko für viele Organisationen und Milliarden von Endnutzern, die von dieser Software abhängen
- Einen Monat nach Projektstart hatten die meisten Partner jeweils Hunderte kritische oder hochschwere Schwachstellen gefunden; die Gesamtzahl der Funde erreichte mehr als 10.000
- Bei mehreren Partnern beschleunigte sich die Bug-Findungsrate um mehr als das 10-Fache
- Cloudflare fand in Systemen auf kritischen Pfaden 2.000 Bugs, davon 400 mit hoher oder kritischer Schwere, und bewertete die Falsch-Positiv-Rate als besser als bei menschlichen Testern
-
Externe Tests und Benchmarks
- Das britische AI Security Institute bewertete Mythos Preview als das erste Modell, das seine beiden Cyber Ranges, also mehrstufige Simulationen von Cyberangriffen, vollständig durchlief
- Mozilla fand und behob in einem Firefox-150-Test 271 Schwachstellen; das sind mehr als 10-mal so viele wie in Firefox 148 mit Claude Opus 4.6
- Die unabhängige Sicherheitsplattform XBOW bewertete Mythos Preview als „deutlichen Sprung“ gegenüber allen bisherigen Modellen in Web-Exploit-Benchmarks und bescheinigte ihm „beispiellose Präzision“ pro Token
- ExploitBench und ExploitGym sind aktuelle wissenschaftliche Benchmarks zur Messung von Exploit-Entwicklungsfähigkeiten; Mythos Preview zeigte dort die stärkste Leistung
-
Veränderte Geschwindigkeit bei der Patch-Auslieferung
- Die neueste Version von Palo Alto Networks enthält mehr als fünfmal so viele Patches wie üblich
- Microsoft erklärte, die Zahl neuer Patches werde „für einige Zeit weiter steigen“
- Oracle findet und behebt Schwachstellen in Produkten und der Cloud mehrfach schneller als zuvor
- Mythos Preview wurde auch für Sicherheitsaufgaben jenseits der Schwachstellenerkennung eingesetzt; bei einer an Glasswing beteiligten Bank half es, eine versuchte betrügerische Überweisung über 1,5 Millionen Dollar zu erkennen und zu stoppen, nachdem Angreifer Kunden-E-Mail-Konten kompromittiert und sogar Spoofing-Anrufe genutzt hatten
Ergebnisse des Open-Source-Scans
- Anthropic hat in den vergangenen Monaten mit Mythos Preview mehr als 1.000 Open-Source-Projekte gescannt, die große Teile des Internets und der eigenen Infrastruktur tragen
- Mythos Preview schätzte in diesen Projekten insgesamt 23.019 Schwachstellen, davon 6.202 mit hoher oder kritischer Schwere
-
Kennzahlen zu verifizierten Schwachstellen
- Von den als hoch oder kritisch eingestuften Schwachstellen wurden 1.752 von sechs unabhängigen Sicherheitsforschungsfirmen oder in einigen Fällen von Anthropic sorgfältig bewertet
- Davon bestätigten sich 90,6 %, also 1.587, als echte Treffer
- Davon wurden 62,4 %, also 1.094, als Schwachstellen mit hoher oder kritischer Schwere bestätigt
- Legt man die aktuelle True-Positive-Rate nach nachträglicher Klassifizierung zugrunde, dürften selbst dann, wenn Mythos Preview keine neuen Schwachstellen mehr findet, fast 3.900 Schwachstellen mit hoher oder kritischer Schwere im Open-Source-Code sichtbar werden
- Anthropic will den Scan von Open-Source-Code vorerst fortsetzen; diese Zahl dürfte daher weiter steigen
-
Beispiel einer Schwachstelle in wolfSSL
- wolfSSL ist eine für ihre Sicherheit bekannte Open-Source-Kryptobibliothek und wird auf Milliarden Geräten weltweit eingesetzt
- Mythos Preview konstruierte einen Exploit, mit dem Angreifer Zertifikate fälschen können
- Diese Schwachstelle würde es Angreifern ermöglichen, gefälschte Websites von Banken oder E-Mail-Anbietern zu betreiben, die für Endnutzer wie legitime Seiten aussehen, tatsächlich aber von den Angreifern kontrolliert werden
- Die Schwachstelle ist bereits gepatcht und erhielt CVE-2026-5194
- Eine vollständige technische Analyse soll in den kommenden Wochen veröffentlicht werden
Engpass bei Verifizierung, Offenlegung und Patchen
- Mit Mythos Preview ist das Finden von Schwachstellen deutlich einfacher geworden, doch der Engpass liegt in der menschlichen Kapazität für Klassifizierung, Meldung, Patch-Design und Auslieferung von Bugs
- Anthropic veröffentlichte ein Dashboard für Open-Source-Schwachstellen, das die einzelnen Phasen des koordinierten Offenlegungsprozesses und deren Fortschritt nachverfolgt
- Der starke Rückgang der Zahlen in jeder Phase spiegelt den menschlichen Arbeitsaufwand wider, der nötig ist, um jede einzelne Schwachstelle zu verifizieren und zu beheben
- Anthropic oder externe Sicherheitsfirmen reproduzieren die von Mythos gefundenen Probleme, bewerten deren Schwere neu, prüfen, ob bereits Korrekturen existieren, und verfassen detaillierte Berichte für die Maintainer
- Open-Source-Maintainer müssen zusätzlich zu ihrer bestehenden Wartungslast auch eine Flut qualitativ schlechter, KI-generierter Bug-Reports bewältigen
- Bei mehreren Maintainern ist die Bearbeitungskapazität stark begrenzt; einige baten darum, die Offenlegung zu verlangsamen, weil sie Zeit für die Ausarbeitung von Patches benötigen
- Bei den von Mythos Preview gefundenen Bugs mit hoher oder kritischer Schwere dauert es im Durchschnitt zwei Wochen bis zum Patch
-
Stand von Offenlegung und Patching
- Auf Wunsch von Maintainern werden Bugs in manchen Fällen auch ohne zusätzliche Bewertung direkt gemeldet
- Bisher wurden 1.129 noch nicht verifizierte Bugs direkt gemeldet; davon schätzte Mythos Preview 175 als hoch oder kritisch ein
- Die Zahl der bisher an Maintainer offengelegten Bugs mit hoher oder kritischer Schwere wird auf etwa 530 geschätzt
- Zusätzlich gibt es 827 bestätigte Schwachstellen, die auf dieselbe Weise als hoch oder kritisch eingeschätzt werden und so schnell wie möglich offengelegt werden sollen
- Von den 530 gemeldeten Bugs mit hoher oder kritischer Schwere wurden 75 gepatcht; 65 davon erhielten öffentliche Advisories
- Da das 90-Tage-Fenster der Coordinated Vulnerability Disclosure policy noch in einer frühen Phase ist, werden künftig weitere Patches erwartet
- Einige Schwachstellen werden ohne öffentliche Advisories gepatcht; deshalb müssen Patches direkt mit Claude gescannt werden, wodurch die Zahl der Patches möglicherweise zu niedrig erfasst wurde
- Die Schieflage, dass Schwachstellen leichter zu finden als zu beheben sind, entwickelt sich zu einer großen Herausforderung der Cybersicherheit; wird sie gut bewältigt, könnte Software deutlich sicherer werden als bisher
Reaktion auf eine neue Phase der Cybersicherheit
- Modelle mit ähnlichen Cybersicherheitsfähigkeiten wie Mythos Preview dürften bald breiter verfügbar sein
- Die gesamte Softwarebranche braucht größere Anstrengungen, um die von solchen Modellen erzeugten großen Mengen an Funden zu bewältigen
- Schon heute gibt es häufig lange Verzögerungen zwischen der Entdeckung einer Schwachstelle, dem Schreiben eines Patches und dem Zeitpunkt, zu dem der Patch bei Endnutzern breit ausgerollt ist
- Modelle auf Mythos-Niveau senken Zeit und Kosten für das Finden und Ausnutzen von Schwachstellen deutlich und vergrößern damit das Risiko, das durch solche Verzögerungen entsteht
- Langfristig können Modelle auf Mythos-Niveau Entwicklern helfen, Bugs noch vor der Auslieferung zu finden und so wesentlich sicherere Software zu bauen
- In der Übergangsphase, in der Schwachstellen schnell gefunden, Patches aber langsam erstellt werden, entstehen jedoch neue Risiken
-
Notwendige Maßnahmen für Softwareentwickler
- Entwickler müssen Patch-Zyklen verkürzen und Sicherheitsfixes so schnell wie möglich bereitstellen
- Ein sorgfältiger Einsatz öffentlich verfügbarer KI-Modelle kann dabei helfen
- Updates sollten sich so einfach wie möglich installieren lassen, damit Nutzer auf dem neuesten Stand bleiben
- Nutzer, die weiterhin Software mit bekannten Schwachstellen betreiben, sollten im Rahmen des Möglichen nachdrücklicher zu Updates bewegt werden
-
Notwendige Maßnahmen für Netzwerkverteidiger
- Netzwerkverteidiger müssen Test- und Rollout-Zeitpläne für Patches verkürzen
- Die vom National Institute of Standards and Technology und dem britischen National Cyber Security Centre empfohlenen Kernkontrollen werden wichtiger, weil sie die Sicherheit erhöhen, ohne davon abzuhängen, dass ein bestimmter Patch rechtzeitig eingespielt wird
- Dazu gehören Maßnahmen wie die Härtung von Standard-Netzwerkkonfigurationen, die Durchsetzung von Multi-Faktor-Authentifizierung und die Pflege umfassender Logs für Erkennung und Reaktion
Verteidigungswerkzeuge mit öffentlich verfügbaren KI-Modellen
- Viele allgemein verfügbare Modelle können zwar nicht die raffiniertesten Schwachstellen finden oder so effektiv ausnutzen wie Claude Mythos Preview, sie sind aber bereits in der Lage, viele Software-Schwachstellen zu finden
- Project Glasswing hat mehrere Organisationen dazu veranlasst, ihre eigenen Codebasen mit allgemein veröffentlichten Modellen zu prüfen; Anthropic arbeitet daran, dies einfacher zu machen
-
Claude Security
- Claude Security wurde als öffentliche Beta für Claude-Enterprise-Kunden eingeführt
- Das Tool hilft Teams dabei, Codebasen auf Schwachstellen zu scannen und vorgeschlagene Fixes zu erzeugen
- In den drei Wochen nach dem Start wurde Claude Opus 4.7 genutzt, um mehr als 2.100 Schwachstellen zu patchen
- Unternehmen beheben ihren eigenen Code selbst, während Open-Source-Fixes meist koordinierte Offenlegungsprozesse und freiwillige Maintainer erfordern; daher ist die Patch-Geschwindigkeit von Claude Security höher als bei den zuvor genannten Open-Source-Patches
-
Cyber Verification Program
- Das Cyber Verification Program erlaubt es Sicherheitsexperten, Anthropic-Modelle für legitime Cybersicherheitszwecke zu verwenden
- Für Einsatzzwecke wie Schwachstellenforschung, Penetrationstests und Red-Team-Aktivitäten können die Modelle ohne einige Schutzmaßnahmen gegen Cyber-Missbrauch genutzt werden
-
Zusammen mit Mythos Preview genutzte Werkzeuge
- Die von Anthropic und seinen Partnern zusammen mit Mythos Preview verwendeten Werkzeuge werden auf Anfrage qualifizierten Kundensicherheitsteams bereitgestellt
- Ziel ist es, die Leistung starker öffentlicher Modelle auch ohne komplexe Einrichtung besser nutzbar zu machen
- skills: von Anthropic und Partnern erstellte und geteilte benutzerdefinierte Anweisungen für wiederkehrende Aufgaben
- Harness: eine Konfiguration, die Claude dabei hilft, Codebasen zu kartieren, Scan-Subagenten zu starten, Funde zu klassifizieren und Berichte zu schreiben
- Threat Model Builder: kartiert Codebasen, identifiziert potenzielle Angriffsziele und priorisiert die Modellarbeit
- Cisco ist einer der Project-Glasswing-Partner und hat kürzlich die Foundry Security Spec als Open Source veröffentlicht, damit andere Verteidiger ähnliche Evaluierungssysteme wie Cisco aufbauen können
Unterstützung des Ökosystems und nächste Schritte
- Anthropic ist eine Partnerschaft mit dem Alpha-Omega-Projekt der Open Source Security Foundation eingegangen, um Maintainer bei der Bearbeitung und Klassifizierung von Bug-Reports zu unterstützen
- Anthropic unterstützt die Entwicklung der neuen Benchmarks ExploitBench und ExploitGym, mit denen sich die Exploit-Entwicklungsfähigkeiten von Frontier-AI-Modellen über die Zeit verfolgen lassen
- Mehr zu diesen Benchmarks steht im Frontier Red Team blog
- Über das External Researcher Access Program wird auch die Entwicklung weiterer hochwertiger quantitativer Benchmarks unterstützt
- Claude for Open Source unterstützt Maintainer und Mitwirkende; außerdem kündigte Anthropic an, künftig alle Open-Source-Pakete zu scannen, die es selbst einsetzt
- Angesichts des Tempos der KI-Entwicklung ist zu erwarten, dass Modelle mit einer Stärke wie Mythos Preview bald von mehreren KI-Unternehmen entwickelt werden
- Derzeit hat kein Unternehmen, auch Anthropic nicht, Schutzmaßnahmen entwickelt, die stark genug wären, um zu verhindern, dass solche Modelle missbraucht werden und schweren Schaden anrichten
- Deshalb veröffentlicht Anthropic Modelle auf Mythos-Niveau bislang nicht allgemein
- Project Glasswing entstand aus der Sorge, dass die Veröffentlichung von Modellen mit ähnlichen Fähigkeiten ohne ausreichende Schutzmaßnahmen das Ausnutzen fehlerhafter Software für fast jeden auf der Welt viel billiger und einfacher machen könnte
- Glasswing hilft den systemisch wichtigsten Cyber-Verteidigern, sich einen asymmetrischen Vorteil zu verschaffen, zugleich besteht ein dringender Bedarf, dass möglichst viele Organisationen ihre Abwehr stärken
- Anthropic will in Zusammenarbeit mit wichtigen Partnern, darunter die US-Regierung und Regierungen verbündeter Staaten, Project Glasswing auf weitere Partner ausweiten
- Ziel ist es, nach Entwicklung der deutlich stärkeren notwendigen Schutzmaßnahmen Modelle auf Mythos-Niveau in naher Zukunft allgemein verfügbar zu machen
- Das langfristige Ziel ist eine Umgebung, in der wichtiger Code viel stärker geschützt ist als heute und Hacking deutlich seltener vorkommt
1 Kommentare
Hacker-News-Kommentare
Wir haben Codex Security testweise eingeschaltet, und nach nicht einmal einer Woche wurde es für das ganze Team zu einem Pflicht-Tool
Die Genauigkeit war erstaunlich, es hat viele Sicherheitsprobleme im bestehenden Code gefunden und schlägt bei jedem Commit weiterhin an
Für uns liegt es bei etwa 90 % Genauigkeit, und selbst bei Punkten, die als „Low“ markiert sind, stellte sich beim Nachbohren oft heraus, dass sie tatsächlich ausnutzbar waren
Solche Fehler sind eine Art von Bug, die von Junioren bis Seniors allen passieren, daher scheint es wahrscheinlich, dass mit AI zu programmieren, mit AI zu reviewen und mit AI Schwachstellen zu finden künftig ein normaler Teil des Entwicklungslebenszyklus wird
Ich habe es mit einer iterativen Schleife versucht, die in jeder Phase der Entwicklung — vom Design bis zum Coding — nach Problemen und Bugs gräbt, um zu prüfen, ob die resultierende Software wirklich wie beabsichtigt funktioniert
Das UI ist etwas verwirrend, denn es zeigt „5 Scans“ an, aber 1 Scan bedeutet, den Default-Branch des Repositories kontinuierlich zu überwachen
Funde mit hoher Auswirkung waren fast alle korrekt, und besonders beeindruckt hat mich, wie präzise die Dokumentationsqualität und die Fix-Vorschläge waren
Codex war sonst oft daran gewöhnt, ziemlich viel mehr Code zu erzeugen als nötig, aber die Patches des Sicherheitsmodells sind oft unter 10 Zeilen und zielen nur auf die exakte Stelle
Nach dem Beta-Ende wird es wohl ziemlich teuer, aber als Unternehmen würde ich es sofort einführen wollen, so gut ist es
Bei Code gilt für mich eher: weniger ist mehr, deshalb ist dieser Trend ziemlich frustrierend
Wie vermeidet ihr diese Falle?
Damit bekommen wir ziemlich gute Ergebnisse
Ich bin mir nicht sicher, wie sich das Update von Anthropic und einige der überhitzten Reaktionen hier mit der jüngsten Einschätzung des curl-Maintainers Daniel Steinberg vereinbaren lassen
„Ich sehe keine Belege dafür, dass dieses Setup [Mythos] Issues auf einem deutlich höheren oder fortgeschritteneren Niveau findet als andere Tools vor Mythos. Dieses Modell mag etwas besser sein, aber selbst dann nicht so viel besser, dass es die Codeanalyse substanziell verändert.“
https://daniel.haxx.se/blog/2026/05/11/mythos-finds-a-curl-v...
Aber der Bericht der britischen Regierung ist auch ein Datenpunkt, und der Firefox-Bericht ebenfalls, und beide deuten darauf hin, dass es tatsächlich deutlich besser ist als die aktuelle Modellgeneration
Vielleicht ist curl auch einfach ein viel stärker gehärteter Code als die meisten Projekte
Letztlich ist das aber nicht besonders wichtig, denn wie Anthropic selbst einräumt, kommen bereits Modelle der nächsten Stufe, und Mythos ist nur eines davon
Schon die aktuelle Modellgeneration ist gut darin, Datenflüsse in komplexen Systemen zu verfolgen, und es gibt keinen Grund anzunehmen, dass diese Fähigkeit an ihre Grenze gekommen ist
Es scheint gut möglich, dass wir innerhalb eines Jahres mehrere kommerzielle Modelle sehen werden, die Schwachstellen günstig finden können
Beim Entwurf von Lösungen für solche Issues scheint es dagegen deutlich weniger Fortschritt zu geben
Tools insgesamt werden viel besser darin, Security-Bugs zu finden, und allein aus Daniels Nutzungserfahrung war unklar, ob Mythos selbst ein riesiger Sprung ist, aber LLMs der Mythos-Generation sind es ganz sicher
Allerdings hat Daniel Mythos eher indirekt verwendet
Mein Fazit aus der Mythos-Debatte ist, dass a) Anthropic wegen GPU-Knappheit den Zugang zu Mythos womöglich einschränken musste, was auch die Rechnung zur breiten Veröffentlichung beeinflusst hat, und b) das Finden von Bugs mit Mythos oder ähnlichen Modellen weiterhin teuer ist
Hätte man bei curl Mythos-Runs im Wert von 20.000 oder 100.000 Dollar gefahren, wären vielleicht ähnlich viele Issues wie bei anderen Projekten wie Firefox herausgekommen, aber Daniel hatte keinen solchen Zugang
Das allgemeine Update, das er heute auf LinkedIn gepostet hat, zeigt den breiteren Kontext
https://www.linkedin.com/feed/update/urn:li:activity:7463481...
„Wir sind noch nicht einmal bei der Hälfte dieses curl-Release-Zyklus, und es gibt bereits 11 bestätigte Schwachstellen, 3 weitere warten auf Bewertung, und neue Meldungen kommen weiterhin mit einer Rate von mehr als einer pro Tag herein.“
„11 CVEs in einem einzigen Release anzukündigen, ist ein Rekord seit dem ersten Sicherheitsaudit von Cure 53 im Jahr 2016.“
„Es ist die intensivste Phase, an die ich mich in der Geschichte von curl erinnern kann.“
Es ist überhaupt kein typischer Fall, daher scheint es gut möglich, dass solche Faktoren eine Rolle gespielt haben
Natürlich kann man nicht sicher sein, ob da ein Bias vorliegt, und Daniel könnte einfach recht haben
Vielleicht war der curl-Quellcode von Anfang an einfach ziemlich sauber
Ich würde nicht erwarten, dass curl der Durchschnittsfall für Mythos ist
Rund um Mythos gab es viel Zynismus à la „nur ein bestehendes offenes Modell ohne Sicherheitsgeländer“, aber diese Zahlen wirken anders
„1.752 Schwachstellen mit Einstufung hoch oder kritisch wurden von 6 unabhängigen Sicherheitsforschungsfirmen oder in wenigen Fällen durch unsere eigene Evaluation sorgfältig geprüft. Davon erwiesen sich 90,6 % (1.587) als gültige True Positives, und 62,4 % (1.094) wurden als hoch oder kritisch bestätigt.“
Wer schon einmal Schwachstellenscans mit Opus, Codex oder Open-Source-Modellen gemacht hat, weiß, dass True-Positive-Rate und Fundmenge klar einen Stufenwechsel darstellen[0]
Die meisten der rund 50 Partner von Glasswing hatten zuvor bereits Harnesses mit anderen Modellen laufen lassen und reagierten überwiegend mit „wow, das ist anders“
Jetzt ist die Frage, wie Zugang der Stufe 2 und 3 aussehen wird und welche Systemklassen zuerst geschützt werden
Router, Firewalls, SaaS, ERP, Fabrik-Controller, SCADA, Zero-Trust-VPN-Gateways, Telekom-Hardware und -Netze, medizinische Geräte — es gibt einfach zu viel zu tun
Deshalb glaube ich, dass Mythos vorerst nicht öffentlich werden wird
Die zu schützende Angriffsfläche ist zu groß, und es gibt zu viel zu klassifizieren, zu beheben und auszurollen
Das könnte auch für Anthropic selbst sinnvoll sein, weil sich ein nicht öffentliches Modell nicht distillieren lässt
Zudem entsteht ein Runaway-Effekt bei den Modellverbesserungen aus Daten zu Fund, Klassifizierung und Fix
Wahrscheinlich ist das schon jetzt der stärkst kuratierte Angriffsdatenkorpus, der je gesammelt wurde, und er wird weiter besser werden
Ich kann mir schwer vorstellen, dass chinesische Firmen bald oder jemals Zugriff bekommen
Vielleicht kommt bald eine Welt, in der CISA Audits vorschreibt und man, wenn man ein Mythos-resistentes VPN-Gateway oder einen Heimrouter kaufen will, ein Produkt aus den USA[1] kaufen muss
[0] Verglichen mit etwa 30 % bei allgemeinen Audit-Tools
[1] oder aus einem Verbündetenstaat
Ich finde es schwer zu glauben, dass sich das nicht replizieren lässt
Es gibt bereits genügend annotierte Daten wie CVEs und Patches, und Mythos sorgt nur für noch mehr davon; wenn man Reinforcement Learning auf dieses Szenario ausrichtet, müsste sich die Performance der Schwachstellenerkennung auch ohne Mythos-Zugang steigern lassen
OpenAI schränkte den Modellzugang damals erstmals ein mit der Begründung, „die Menschheit sei noch nicht bereit“, obwohl das Modell im Wesentlichen nur ganz gut Gedichte schrieb
Seitdem kann ich mich an keine OAI-/Anthropic-Modellankündigung erinnern, die nicht ähnliche Formulierungen benutzt hätte
Das Modell sei geleakt worden, ist Marketing; es sei gefährlich, ist Marketing; die Welt sei nicht bereit, ist Marketing
Dass Leute mit Zugang sagen „wow“, ist ebenfalls Marketing, ob man es glaubt oder nicht
Dieselben Ergebnisse lassen sich bereits mit den besten 5–10 allgemein verfügbaren Modellen erzielen
Mythos ist nur die Art, wie Anthropic neue Ideen verkauft, nachdem frühere Ideen demokratisiert wurden
Von Sonnet 4.8 darf man wohl einiges erwarten
Wenn ihr auf eurer Codebasis noch keine statische Analyse und keine Linter einsetzt, sollte man zuerst fragen, warum ihr dann teure LLM-Tools einsetzen wollt
Das heißt nicht, dass solche Tools keine Schwachstellen finden könnten, die statische Tools nicht finden; ich denke schon, dass sie das können
Aber wir sind längst in der Lage, einen breiten Bereich gängiger Schwachstellen automatisch zu erkennen, und haben uns aus Gründen wie Kosten einfach dagegen entschieden
Wenn ein Team bereits mehrere Ebenen von Analyse und Linting einsetzt und das noch zusätzlich obendrauf packen will, bin ich voll dafür
Selbst bei einem FAANG-Unternehmen sind unsere statischen Analyse-Tools nicht besonders gut darin, zu erkennen, welche Issues tatsächlich erreichbar sind
Idealerweise sollte man beides verwenden
Gut wäre ein AI-Modell, das statische Analyse als Teil seines Harnesses hat und jeden potenziellen Fund bewertet
Intelligentere Tools können helfen, die begrenzte Engineering-Zeit nicht zu verschwenden
Die meisten, die das jetzt machen, haben statische Analyse-Tools nicht genutzt, weil sie sie für unnötigen Overhead hielten
Die Schwachstellen, die ich im Moment am liebsten behoben sähe, sind nur die in den 3.800 von GitHub gestohlenen Repositories
Ehrlich gesagt hat „die Schwachstellen in der Software, die das Internet aufbaut“ für mich eine geringere Priorität als „die Plattform, mit der die Software, die das Internet aufbaut, Releases erstellt“
Wenn die Käufer dieser internen Repositories in GitHub eindringen, Software-Releases kompromittieren oder Wege finden, GitHub Actions aus der Ferne zu vergiften, sitzen wir alle in einer sehr ernsten Lage
Man darf nicht vergessen, dass unter diesen 3.800 Repositories wahrscheinlich sogar npmjs.org selbst sein dürfte
Wir haben mit Frontier-Modellen für Endverbraucher in der Legal-Tech-Welt das entwickelt, was wir „lexploits“ nennen, und sie sind absurd gut darin, Bugs in integrierten Pipelines zu finden
Auch beim Erarbeiten von Gegenmaßnahmen sind sie überraschend stark
Security-Schwachstellen sind wichtig, aber im Rechtsbereich gibt es auch das Konzept der Knowledge Security, also den Schutz der Treue eines Agenten zum rechtlichen Kontext
Software-Bugs wirken viel handhabbarer, weil Software Engineers sie betreuen, während das bei den „Schwachstellen“ in den Pipelines, die wir finden, nicht der Fall ist
Ich habe hier ein wenig über einen Fall geschrieben, in dem juristische Dokumente etwas anderes zu sein scheinen, als sie sind: https://tritium.legal/blog/noroboto
Solche offengelegten Wissensbereiche wird es viele geben, und das ist noch beunruhigender, weil die meisten personell unterbesetzt sind und von Nicht-Technikern verwaltet werden
Dafür braucht man nicht einmal Mythos
„Als Nächstes werden wir mit Schlüsselpartnern, darunter die Regierungen der USA und ihrer Verbündeten, zusammenarbeiten, um Project Glasswing auf weitere Partner auszuweiten“ klingt für mich so, als wollten sie vor einer allgemeinen Veröffentlichung erst einmal viel Geld verdienen
Gute Strategie
Schwer zu glauben
Ein großer Teil dessen, was dieses Tool findet, ist schlicht falsch, und wegen höherer oder tieferer Schichten des Codes wird manches als wahr gemeldet, obwohl es sich in der Praxis nicht zu einer echten Schwachstelle ausnutzen lässt
Es ist auch ein Trade-off zwischen Performance und Sicherheit, und das war schon immer so
Zusätzliche Prüfungen und andere Maßnahmen müssen tatsächlich zu Sicherheitszwecken durchgeführt werden
Marketing ist immer großartig, aber die rosige Sicht vieler Leute wirkt fehlgeleitet, fast schon stellvertretend verklärt
Es geht nicht um nicht erreichbare Schwachstellen
„Der Flaschenhals beim Beheben solcher Bugs ist die Kapazität von Menschen, sie zu klassifizieren, zu melden und Patches zu entwerfen und auszurollen. Mit Mythos Preview ist das anfängliche Finden erheblich einfacher geworden.“
Das war schon immer der Flaschenhals
Automatisierte Tools markieren gern Schwachstellen, aber fast alles sind False Positives, und Menschen müssen sie triagieren und bewerten
Das ist trotzdem in Ordnung
Lieber schließt man nach sorgfältiger Prüfung False Positives, als dass man Dinge komplett übersieht
Menschen als Flaschenhals zu bezeichnen, ist nicht passend
Menschen sind ein notwendiger Teil des Prozesses, und Mythos wird eher ein Katalysator in diesem Prozess sein
Eine Schwachstelle nachzuweisen war deutlich schwieriger, als sie zu beheben
Heute war ein ziemlich unterhaltsamer Tag
Ich habe deepseek-v4-flash-Subagenten Patches bauen lassen, um mit Dirty Frag Root-Rechte auf Systemen zu bekommen, bei denen AF_ALG deaktiviert und nscd aktiviert ist
Der ursprünglich veröffentlichte Exploit funktionierte nicht, aber der gepatchte lief sehr gut
Ich glaube weiterhin, dass 100 Subagenten mit ausreichender Intelligenz dieselben Ergebnisse wie Mythos liefern können
Ich bin bereit, diese Ansicht aufzugeben, sobald ich Mythos selbst ausprobiert habe, und ich nehme an, andere hier haben es ebenfalls benutzt
Die Frage ist also nicht, „können dümmere Modelle das auch“, sondern: Wenn die Mythos-Inferenz 5.000 GPU-Stunden kostet, um einen Exploit zu finden, wie viele GPU-Stunden brauchen dann dümmere Modelle?