- Keynote auf der OffensiveCon von Perri Adams, Beraterin für KI- und Cybersicherheitstechnologien bei der Defense Advanced Research Projects Agency (DARPA) der USA
- KI wird zunehmend in der Exploit-Entwicklung und bei der Automatisierung von Schwachstellen eingesetzt
- Anhand eines realen Falls einer pre-auth Double-Free-Schwachstelle in OpenSSH wird untersucht, wie KI in der Exploit-Entwicklung eingesetzt werden kann
- Auf Large Language Models (LLMs) basierende KI hilft bei einigen Teilaufgaben (z. B. beim Verständnis von Heap Grooming), ist aber unzureichend, um automatisch einen vollständigen Exploit zu erzeugen
- Die Kombination aus Expertensystemen (z. B. symbolischen Engines) und KI bringt praktische Fortschritte
- KI wird Menschen kurzfristig nicht ersetzen, aber es wird erwartet, dass ihre Rolle als Assistenzwerkzeug wächst und sie zur Automatisierung bestimmter Teilbereiche beiträgt
Einleitung
- Keynote der OffensiveCon: Die Zukunft von KI und Exploit-Entwicklung
- Die Referentin Ms. Perri Adams ist Sonderberaterin des DARPA-Direktors und berät zu KI- und Cybersicherheitstechnologien
- Frühere Teilnehmerin an Hacking-Wettbewerben aus dem Umfeld des DEF CON CTF-Organisationsteams
- Erläuterung des Kontexts, in dem in der Sicherheitsbranche sehr intensiv über „Automatisierung“ und den „Einsatz von KI“ diskutiert wird
- Aufbau des Vortrags auf Grundlage von Erfahrungen bei DARPA und in verschiedenen Branchen sowie der Teilnahme an CTFs (Capture the Flag)
Praxisbeispiel: OpenSSH-Double-Free-Schwachstelle (pre-auth) und KI
- Im Februar 2023 meldete Qualys eine Double-Free-Schwachstelle in der pre-auth-Umgebung von OpenSSH an die OSS-SEC-Mailingliste
- Es wird erläutert, dass es sich um eine komplexe Schwachstelle handelt, die nur unter bestimmten Konfigurationen und Bedingungen ausgelöst wird
- Aufgrund von komplexem C-Code, Prozessisolierung, verschiedenen Funktionsaufrufen und Backward-Compatibility ist ein Exploit für diese Schwachstelle strukturell sehr schwer zu entwickeln
- Analysiert werden verschiedene Angriffsflächen wie Heap-Strukturen (Glibc-tcache, unsorted bin usw.), Pakete vor der Authentifizierung (Manipulation benutzerdefinierter Listen), OpenSSL und Funktionszeiger
- Es wird untersucht, wie durch tatsächliche Heap-Manipulation (Grooming) ein use-after-free ausgelöst werden kann und ob sich theoretisch Funktionszeiger überschreiben lassen
Praktischer Einsatz von KI-Tools
- Es wurde versucht, die Schwachstelle mithilfe von LLM-basierten KI-Systemen wie ChatGPT (3.5, 4.0) und Claude zu analysieren
- Bei einigen Teilaufgaben zeigte sich eine sinnvolle Leistung, etwa beim Ordnen/Zusammenfassen der grundlegenden Struktur der Schwachstelle und der Heap-Allokationsprozesse
- Bei der automatischen Erzeugung eines vollständigen Exploit-Codes, komplexer Heap-Manipulation und der Interpretation interner OpenSSL-Abläufe zeigten sich jedoch Grenzen
- Manche KI-Systeme präsentierten selbstbewusst unrealistische oder ungenaue PoCs (Proof of Concept) oder verweigerten aus ethischen Gründen die Code-Erzeugung
- Praktisch nützlich erwies sich KI eher bei Code-Korrekturen/Patch-Vorschlägen und bei der Zusammenfassung riskanter Bereiche als defensive Unterstützung
Kombination von KI und Expertensystemen (symbolischen Frameworks)
- Gegenüber reinen LLM-basierten KI-Systemen zeigen Strukturen in Kombination mit Expertensystemen wie der Lean Proof Engine bei Problemen wie Mathematik-Olympiaden bessere Ergebnisse
- Bei klar formalisierten Aufgaben wie der IMO können KI-symbolische Systeme Belohnungs- und Verifikationsrollen übernehmen und so die Leistung steigern
- Auch die Automatisierung von Exploits macht Fortschritte durch die Kombination von KI mit Analysetools wie CodeQL, IDA und Binary Ninja
Forschung zur Exploit-Automatisierung und Realität
- Seit Wettbewerben zur automatischen Exploit-Erzeugung wie der DARPA Cyber Grand Challenge hat die Forschung in Umgebungen mit reduzierter Komplexität sinnvolle Fortschritte erzielt
- Wichtige Arbeiten zerlegen das Problem in Teilaufgaben und schlagen Exploit-Templates sowie automatisierte Techniken pro Ziel bzw. Schwachstellentyp vor
- Praxisnäher als universelle Automatisierungswerkzeuge ist die Kombination von Subalgorithmen, die auf bestimmte Schwachstellentypen/Ziele spezialisiert sind
- LLMs spielen weiterhin vor allem die Rolle eines „enthusiastischen Assistenten“ — sie tragen eher unterstützend bei, statt die Arbeit von Expertinnen und Experten direkt zu ersetzen
Fazit und Ausblick
- Die Erwartung, dass KI schon bald die vollständige Exploit-Entwicklung komplett automatisieren wird, ist in vieler Hinsicht übertrieben
- Der effektivste Ansatz ist die Kombination aus direkter Exploit-Entwicklung und dem Einsatz von KI zur Unterstützung bei Teilaufgaben (z. B. Informationsaufbereitung, Code-Korrekturen, wiederholte Tests)
- Fortschritte in der Automatisierung folgen der menschlichen Kreativität nur teilweise, und KI kann sich weiterhin nur schwer vollständig an die Komplexität und Wandelbarkeit realer Schwachstellen anpassen
- Künftig dürften halbautomatisierte Ansätze auf Basis der Kombination bestehender Abstraktionsebenen/Expertensysteme mit KI sowie auf bestimmte Schwachstellentypen fokussierte Automatisierung die wichtigsten Wachstumsfelder sein
- In den Bereichen Reverse Engineering, Application Security und Pentesting wird die Zahl praktischer Werte und Einsatzfälle voraussichtlich schnell zunehmen
Noch keine Kommentare.