Curl: Wir haben noch keinen einzigen gültigen Sicherheitsbericht gesehen, der mit Hilfe von AI verfasst wurde

• Das curl-Projekt hat aufgrund des Missbrauchs von AI-basierten Sicherheitsmeldungen eine Richtlinie eingeführt, nach der Meldende, die AI verwenden, sofort blockiert werden
• Ab sofort müssen alle Sicherheitsmeldenden die Frage „Wurde AI verwendet?“ eindeutig beantworten und erhalten bei Verwendung von AI zusätzliche Verifizierungsfragen
• Das Projekt betont, dass von AI verfasste Meldungen meist nur wertloser „AI-Slop“ seien und es bislang keinen einzigen tatsächlich gültigen Fall gegeben habe
• Man kam zu dem Schluss, dass AI-Missbrauchsmeldungen über HackerOne jedes Maß überschritten haben und dies als Störung auf dem Niveau eines DDoS-Angriffs zu werten ist
• Das auslösende Beispiel war https://hackerone.com/reports/3125832; dieser Bericht war der Anlass für den Strategiewechsel

[sagee]

Ein ziemlich ähnlicher Gedanke.

[imnotarobot]

Sind Sie ein Roboter?

[GN⁺]

Hacker-News-Kommentare

• Ich bearbeite Berichte für ein Bug-Bounty-Programm im Millionen-Dollar-Bereich

  • AI-Spam ist ein ernstes Problem
  • Ich habe noch nie einen gültigen Bericht erhalten, der mit einem LLM erstellt wurde
  • Leute geben die Gründe, warum ihr Bug-Report ungültig ist, erneut in ein LLM ein und erhalten dadurch noch verwirrendere Ergebnisse
  • Außer „als Spam geschlossen“ lohnt sich keine Antwort
  • Ich glaube, dass es irgendwann großartige Code-Security-Tools geben wird, aber das Problem ist, dass die Leute glauben, dieser Tag sei heute
  • Ich mache mir Sorgen um Menschen, die Wahrheit und Müll nicht unterscheiden können

• Für alle, die nicht auf den Link klicken wollen: <a href="https://hackerone.com/reports/3125832" rel="nofollow">https://hackerone.com/reports/3125832</a>; ist ein aktuelles Beispiel für einen falschen curl-Bericht

• Wenn man Schwachstellen in große Open-Source-Projekte einschleusen wollte, wäre ein einfacher Weg, AI zu nutzen, um ihre Vulnerability-Reports per DDOS zu fluten, sodass echte Berichte schwer zu finden sind

  • Wenn man sich die Fake-Reports ansieht, wirken sie nicht wie von echten Menschen
  • Wenn es nicht darum geht, Anerkennung zu bekommen, fragt man sich, warum jemand so etwas tut

• Wenn man den Commit liest, der das Fass zum Überlaufen brachte, erklärt das das Problem gut: <a href="https://hackerone.com/reports/3125832" rel="nofollow">https://hackerone.com/reports/3125832</a>;

  • Es wäre wirklich frustrierend, sich durch so etwas durchzuarbeiten
  • Ich frage mich, ob ein Reputationssystem hier funktionieren könnte
  • Ich schlage ein System vor, das Menschen, deren Identität bei einem AML/KYC-Anbieter verifiziert wurde, Reputation zuweist und diese Reputation jedes Mal erhöht, wenn sie eine korrekte Schwachstelle finden
  • AI verändert die Ökonomie in diesem Bereich

• Man sieht schon ohne den Bericht anzuklicken, dass alles Halluzinationen sein werden

  • Sowohl die ursprüngliche Patch-Datei als auch der Segfault sind falsch
  • Es wirkt, als würden sie einfach zufällig AI-generierte Ergebnisse verschicken, ohne überhaupt etwas zu verifizieren

• evilginx hat den Schweregrad erhöht

  • Der Verfasser des Berichts gibt ausdrücklich an, dass er Arbeit sucht
  • Ich frage mich, ob er Leute sucht, die mit ChatGPT AI-generierte Projekte als Spam verschicken

• Die meisten LLMs erfinden völlig frei Dinge, wenn man sie bittet, Sicherheitslücken im Code zu finden

  • Wegen falschem Code erhält man sinnlose „Fixes“
  • Das Hauptproblem ist die Diskrepanz zwischen den Anforderungen der Nutzer und der tatsächlichen Wirksamkeit des Systems

• Enttäuschend an Interaktionen mit Menschen, die AI stark nutzen, ist, dass sie oft mit „Ich habe ChatGPT gefragt und es sagte ...“ anfangen

  • Wenn sie verstanden haben, was der Chatbot ihnen beigebracht hat, sollten sie es erklären, und wenn sie es nicht verstanden haben oder ihm nicht vertrauen, sollten sie es nicht erwähnen

• Die Lösung ist einfach

  • Vor dem Einreichen eines Sicherheitsberichts hinterlegt der Einreichende 10 US-Dollar in Escrow, und wenn die Einreichung AI-generierter Müll ist, wird das Geld an den Prüfer ausgezahlt

• Als Gegenposition: Wir haben ein CVE, und der Unterschied ist, dass einer der Mitgründer ein aggressiver Kernel-Forscher war

  • Das System ist besser abgestimmt als der Durchschnittsmensch
  • Die Menge an falschen Berichten, die curl erhalten hat, ist enorm
  • Die Tools funktionieren tatsächlich, aber es gibt zu viele Leute, die schnelles Geld verdienen wollen, daher muss man das Rauschen herausfiltern