Von KI erstellte Sicherheitsberichte für curl

Bug-Bounty

• Bug-Bounty-Programme zahlen Hackern echte Geldprämien, wenn sie Sicherheitsprobleme melden.
• Manche Personen suchen in Quellcode nach Mustern oder lassen einfache Sicherheitsscanner laufen und melden die Ergebnisse dann ohne zusätzliche Analyse in der Hoffnung auf eine Prämie.
• In mehreren Jahren des Bug-Bounty-Betriebs war der Anteil an Müllmeldungen kein großes Problem, und die meisten ließen sich leicht erkennen und ignorieren.
• Über Bug Bounties wurden bisher mehr als 70.000 USD ausgezahlt, und von 415 Schwachstellenmeldungen wurden 64 als tatsächliche Sicherheitsprobleme bestätigt.

Besserer Müll ist schlimmer

• Wenn ein Bericht besser aussieht und den Eindruck macht, Substanz zu haben, kostet seine Untersuchung und Verwerfung mehr Zeit.
• Sicherheitsberichte müssen von Menschen mit Zeitaufwand geprüft und in ihrer Bedeutung bewertet werden.
• Müllmeldungen helfen dem Projekt nicht und entziehen produktiven Aktivitäten Zeit und Energie der Entwickler.

KI-generierte Sicherheitsberichte

• KI kann viele gute Dinge leisten, kann aber auch für die falschen Dinge eingesetzt werden.
• KI könnte nützlich eingesetzt werden, um Sicherheitsprobleme zu finden und zu melden, aber bislang gibt es dafür noch keine guten Beispiele.
• Derzeit sind Nutzer eifrig dabei, LLMs einzusetzen, um curl-Code zu analysieren und die Ergebnisse als Berichte über Sicherheitslücken einzureichen.

Erkennung von KI-Müll

• Melder beherrschen Englisch nicht immer vollständig, weshalb ihre Absicht manchmal nicht sofort leicht zu verstehen ist.
• Manchmal nutzen Melder KI oder andere Werkzeuge, um Hilfe beim Formulieren oder Übersetzen ihrer Aussagen zu bekommen.
• Dass ein Text teilweise von KI oder ähnlichen Werkzeugen erzeugt wurde, ist nicht automatisch ein Problem.

Exponat A: Offenlegung einer Codeänderung

• Im Herbst 2023 wurde die Offenlegung zu CVE-2023-38545 angekündigt.
• Einen Tag vor der Bekanntgabe reichte ein Nutzer bei Hackerone einen Bericht ein: Der Code-Change zur curl-Schwachstelle CVE-2023-38545 wurde im Internet veröffentlicht.
• Der Bericht roch nach einer KI-artigen Halluzination: Es wurde etwas Neues erfunden, das keinen Bezug zur Realität hatte.
• Der Nutzer gab an, Googles generative KI Bard genutzt zu haben, um dieses Problem zu finden.

Exponat B: Buffer-Overflow-Schwachstelle

• Ein weniger offensichtliches und besser ausgearbeitetes Problem, das aber dennoch nicht über Halluzinationen hinauskam.
• Am Morgen des 28. Dezember 2023 reichte ein Nutzer bei Hackerone einen Bericht ein: Buffer-Overflow-Schwachstelle in der WebSocket-Verarbeitung.
• Der Bericht war detailliert und in angemessenem Englisch verfasst und enthielt sogar einen vorgeschlagenen Fix.
• Nach mehreren Rückfragen und Halluzinationen wurde am selben Nachmittag klar, dass es sich nicht um ein echtes Problem handelte, und das Problem wurde nicht behoben.

Solche Melder sperren

• Hackerone hat keine ausdrückliche Funktion, um weitere Kommunikation mit einem Projekt zu untersagen.
• Wenn ein Problem nicht gelöst wird, sinkt der „Ruf“ des Forschers, aber wenn das nur einmal in einem einzelnen Projekt passiert, ist die Veränderung sehr gering.

Zukunft

• Solche Berichte werden mit der Zeit wahrscheinlich häufiger werden, und man kann lernen, KI-Signale besser zu erkennen und Berichte auf dieser Grundlage zu ignorieren.
• Das kann unerquicklich sein, wenn KI eigentlich für passende Aufgaben eingesetzt werden sollte.
• Es ist sicher, dass in Zukunft Werkzeuge auftauchen werden, die mit KI tatsächlich funktionieren, und KI zur Suche nach Sicherheitsproblemen einzusetzen, ist nicht grundsätzlich eine schlechte Idee.
• Schon eine sehr kleine Beimischung menschlicher (intelligenter) Prüfung würde den Einsatz und die Ergebnisse solcher Werkzeuge deutlich verbessern.

Diskussion

• Hacker News

Credits

• Bild: Haider Mahmood von Pixabay
• AI
• cURL and libcurl
• hackerone
• Security

GN⁺-Meinung

• Der Fortschritt der KI-Technologie bringt auch im Sicherheitsbereich neue Herausforderungen und Chancen mit sich. KI kann beim Auffinden von Sicherheitslücken helfen, doch derzeit verschwenden ungenaue Meldungen oft die Zeit der Entwickler.
• Sicherheitsprobleme schnell zu identifizieren und zu beheben, ist entscheidend, um die Sicherheit von Software aufrechtzuerhalten. Mit der Zunahme von KI-generierten Berichten werden jedoch neue Ansätze nötig, um damit wirksam umzugehen.
• Dieser Artikel liefert reale Beispiele dafür, wie KI im Sicherheitsbereich falsch eingesetzt werden kann, und betont damit die Bedeutung eines verantwortungsvollen KI-Einsatzes und menschlicher Aufsicht.

[GN⁺]

Hacker-News-Kommentare

• Zusammenfassung der Hacker-News-Kommentare:

  • Meinungen zum charakteristischen Tonfall von LLMs (Large Language Models):

    Es ist in Ordnung, wenn LLMs einen bestimmten Tonfall haben und wie ein roboterhafter Butler klingen, aber es ist beunruhigend, wenn Menschen anfangen, wie LLMs zu sprechen.

  • Meinungen zu einem von einem LLM erstellten Bericht über eine Sicherheitslücke in curl:

    Zunächst dachte man, es handle sich um eine Wiederholung von etwas, das man schon einmal gesehen hatte, stellte dann aber fest, dass es sich tatsächlich um einen gefälschten Bericht handelte, der von einem anderen LLM erzeugt worden war.

  • Bedenken zu LLMs und Bug-Bounty-Programmen:

    Durch gefälschte Berichte, die LLMs bei Bug-Bounty-Programmen einreichen, könnte der Betrieb solcher Programme schwierig werden. Möglicherweise müssen sie strenger verwaltet werden, damit nur echte Menschen und Sicherheitsforscher teilnehmen können.

  • Sorge über verschwendete Engineering-Zeit im Verhältnis zu den Kosten von LLMs:

    Es ist besorgniserregend, dass LLMs mit geringem Aufwand große Mengen wertvoller Engineering-Zeit verschwenden können.

  • Einsichten zum Vertrauensproblem von Inhalten durch LLMs:

    Schreiben als Methode, zumindest ein Mindestmaß an Aufwand nachzuweisen, wird durch LLMs zu etwas, das noch mehr Aufwand zur Überprüfung erfordert. Das wirkt sich auf Bug-Bounty-Programme und den CVE-Prozess aus, erhöht die Hürden für Einreichungen und könnte dazu führen, dass mehr Sicherheitslücken unentdeckt und ungepatcht bleiben.

  • Technische Analyse des curl-Codes:

    Es ist besonders seltsam, sich über Längenprüfungen zu beschweren, da curl keine vom Benutzer bereitgestellten Daten verwendet und die Größe zur Compile-Zeit feststeht. Außerdem wird gefragt, ob jemand mit mehr Erfahrung in C den Zweck der lokalen Variable keyval erklären kann.

  • Kritik an Code-Reviews durch LLMs:

    Dass dineshsec / dinesh_b Daniel die Verwendung von strncpy erklären will, ist Zeitverschwendung; stattdessen wird argumentiert, dass memcpy besser sei als strcpy oder strncpy. Die Empfehlungen des LLMs seien in der Praxis nicht empfehlenswert.

  • Meinungen zum KI-Problem im Bereich Cybersicherheit:

    Bis vor Kurzem war die Cybersicherheit einigermaßen immun gegen wertlose Informationen, doch nun macht KI es Betrügern leichter, zu täuschen. Das Problem liegt weniger bei der KI selbst als bei der Ethik, denn Sicherheitsberichte können durchkommen, solange sie nur „legitim“ wirken.