Ich habe mit einem 5-Dollar-Prompt eine 2.418-Dollar-Schwachstelle gefunden

nuremberg · 2025-12-04T14:47:04+09:00

Eine Zusammenfassung in einem Satz Mit einer günstigen Pipeline aus LLM-Prompts und gebündeltem Source Code wurden drei Denial-of-Service-Schwachstellen in Django und FastAPI (Starlette) gefunden (CVE-2025-64458, CVE-2025-64460, CVE-2025-62727) Zusammenfassung Beim Beobachten, wie Top-Teams bei DEF CON LiveCTF und DARPA AIxCC mit LLMs Binärdateien knacken und sogar neue 0-Days finden, entstand der Eindruck, dass LLMs im praktischen Offensive-Research-Bereich produktiver als Menschen sein können Beim Analysieren der GitHub-Archive der AIxCC-Teams (Team Atlanta, Theori) und des RoboDuck-Designs entstand die Einsicht, dass sich ein Ansatz nach dem Motto „Fehler mit LLMs statt mit Fuzzing finden“ in den Workflow zur Schwachstellensuche übertragen lässt Auf Grundlage des gesammelten Kontexts aus mehreren gemeldeten Sicherheitsproblemen in Django, DRF und Python wurde als klares erstes Ziel gesetzt, mit LLMs neue Denial-of-Service-Schwachstellen im Django-Framework zu finden Anders als die AIxCC-Modelle, die Binäranalyse und Patching vollständig automatisieren, wurde für das skriptbasierte Django eine Struktur entworfen, die nur den Schritt automatisiert, „verdächtig aussehende Code-Segment-Kandidaten zusammenzukratzen“, um die Kosten auf wenige Dollar zu begrenzen Dem LLM wurde die Rolle „Security-Researcher, der Sicherheitslücken in Django findet“ gegeben, und es wurde ein langer Prompt erstellt, der DoS-Beispiel-CVE-Diffs, -Einschränkungen und Beispiele für das Ausgabeformat bündelt, um unnötige Patch-Vorschläge zu verhindern und die False-Positive-Rate zu senken Der Django-Source-Code wurde nach gemeinsamen Verzeichnissen in XML gebündelt, in Stücke unter 40K Tokens aufgeteilt und an GPT-5 übergeben; so blieben die Ausführungskosten selbst bei einem kompletten Durchlauf durch das gesamte Framework bei ungefähr 5 Dollar Bei der Überprüfung der im Workflow gefundenen False-Positive-Kandidaten wurden auch anfällige Muster entdeckt, die jahrelang übersehen worden waren. Schon im Validierungsprozess zeigte das Modell starke Fähigkeiten beim Erklären der Root Cause von Sicherheitsproblemen und beim Erstellen von PoCs Später wurde statt der OpenAI API die Codex CLI mit einem AGENTS.md-Prompt verwendet, um den Django-Code aktiv zu durchforsten; dabei wurde eine O(n²)-DoS-Schwachstelle in der URL-Hostname-Verarbeitung von HttpResponseRedirectBase gefunden, die als CVE-2025-64458 registriert wurde Als derselbe Prompt auf FastAPI (genauer: Starlette) angewendet wurde, zeigte sich, dass die Logik zum Zusammenführen von Range-Headern in FileResponse durch regexbasiertes O(n²)-Verhalten ReDoS auslösen kann; dies wurde als CVE-2025-62727 veröffentlicht und von Snyk mit CVSS 8.7 (High) bewertet

(new-blog.ch4n3.kr)

46 Punkte von nuremberg 2025-12-04 | 5 Kommentare | Auf WhatsApp teilen

Eine Zusammenfassung in einem Satz

Mit einer günstigen Pipeline aus LLM-Prompts und gebündeltem Source Code wurden drei Denial-of-Service-Schwachstellen in Django und FastAPI (Starlette) gefunden (CVE-2025-64458, CVE-2025-64460, CVE-2025-62727)

Zusammenfassung

Beim Beobachten, wie Top-Teams bei DEF CON LiveCTF und DARPA AIxCC mit LLMs Binärdateien knacken und sogar neue 0-Days finden, entstand der Eindruck, dass LLMs im praktischen Offensive-Research-Bereich produktiver als Menschen sein können
Beim Analysieren der GitHub-Archive der AIxCC-Teams (Team Atlanta, Theori) und des RoboDuck-Designs entstand die Einsicht, dass sich ein Ansatz nach dem Motto „Fehler mit LLMs statt mit Fuzzing finden“ in den Workflow zur Schwachstellensuche übertragen lässt
Auf Grundlage des gesammelten Kontexts aus mehreren gemeldeten Sicherheitsproblemen in Django, DRF und Python wurde als klares erstes Ziel gesetzt, mit LLMs neue Denial-of-Service-Schwachstellen im Django-Framework zu finden
Anders als die AIxCC-Modelle, die Binäranalyse und Patching vollständig automatisieren, wurde für das skriptbasierte Django eine Struktur entworfen, die nur den Schritt automatisiert, „verdächtig aussehende Code-Segment-Kandidaten zusammenzukratzen“, um die Kosten auf wenige Dollar zu begrenzen
Dem LLM wurde die Rolle „Security-Researcher, der Sicherheitslücken in Django findet“ gegeben, und es wurde ein langer Prompt erstellt, der DoS-Beispiel-CVE-Diffs, <tips>-Einschränkungen und Beispiele für das Ausgabeformat bündelt, um unnötige Patch-Vorschläge zu verhindern und die False-Positive-Rate zu senken
Der Django-Source-Code wurde nach gemeinsamen Verzeichnissen in XML gebündelt, in Stücke unter 40K Tokens aufgeteilt und an GPT-5 übergeben; so blieben die Ausführungskosten selbst bei einem kompletten Durchlauf durch das gesamte Framework bei ungefähr 5 Dollar
Bei der Überprüfung der im Workflow gefundenen False-Positive-Kandidaten wurden auch anfällige Muster entdeckt, die jahrelang übersehen worden waren. Schon im Validierungsprozess zeigte das Modell starke Fähigkeiten beim Erklären der Root Cause von Sicherheitsproblemen und beim Erstellen von PoCs
Später wurde statt der OpenAI API die Codex CLI mit einem AGENTS.md-Prompt verwendet, um den Django-Code aktiv zu durchforsten; dabei wurde eine O(n²)-DoS-Schwachstelle in der URL-Hostname-Verarbeitung von HttpResponseRedirectBase gefunden, die als CVE-2025-64458 registriert wurde
Als derselbe Prompt auf FastAPI (genauer: Starlette) angewendet wurde, zeigte sich, dass die Logik zum Zusammenführen von Range-Headern in FileResponse durch regexbasiertes O(n²)-Verhalten ReDoS auslösen kann; dies wurde als CVE-2025-62727 veröffentlicht und von Snyk mit CVSS 8.7 (High) bewertet

5 Kommentare

kdy1234 2025-12-06

Enorme Tatkraft … wirklich großartig.

princox 2025-12-05

Das ist ein so gutes Beispiel, dass es sich sogar für Zitate in externen Präsentationsunterlagen eignet. Das sollte ich mir speichern.

heycalmdown 2025-12-04

Aus der Perspektive des Kapitals denke ich, dass gerade kontextreiche Aufgaben, die fein abgestimmte und lange Prompts erfordern, zwangsläufig erst später ersetzt werden können.

Ich finde, auch dieser Punkt ist eine hervorragende Einsicht.

gguimoon 2025-12-04

Mich hat das Thema auch nur interessiert, aber ich bin nie wirklich tief eingestiegen. Dieser Beitrag liefert zugleich Motivation und Einblicke. Gute Empfehlung.