Du hast das mit KI gemacht und verstehst nicht, was du tust

[GN⁺]

Hacker News-Kommentar

• Er hat einfach badgers Antwort in den Chat eingefügt und sie dann mit einer Antwort, die ganz offensichtlich wie von einer AI geschrieben wirkte, erneut im Issue eingereicht. Er hat wortwörtlich so etwas eingereicht: „Danke für die schnelle Prüfung. Es stimmt, dass mein PoC libcurl nicht verwendet, daher kann er keinen cURL-Bug nachweisen. Ich nehme die Behauptung eines Cookie-Overflows zurück und entschuldige mich für die Verwirrung. Bitte schließen Sie diesen Report als ungültig. Wenn es hilft, kann ich separat minimalen C-Reproduktionscode schicken, der tatsächlich den Cookie-Parser von libcurl auslöst, und unter Verweis auf die genaue Funktion/Zeile in lib/cookie.c Bescheid geben, falls es ein Problem gibt.“

  • Schade, dass so ein simples Copy-und-Paste-Verhalten inzwischen so alltäglich geworden ist

  • Es wirkt so, als würden manche Leute aus der Tech-Branche absichtlich so handeln, um damit anzugeben, dass „diese AI einen PR erstellt und zu einem bekannten Open-Source-Projekt beigetragen hat“. Mit anderen Worten: Die Arbeit der AI wird gerade auf OSS-Freiwillige abgewälzt, und ohne überhaupt zu prüfen, ob etwas tatsächlich funktioniert, wird die Zeit von Open-Source-Maintainern verbrannt

  • Ich frage mich, ob das von Anfang an komplett ohne menschliches Zutun nur mit AI ablief. Ich habe Sorge, dass CVS künftig voller Agenten sein wird, die Accounts anlegen und mit AI einfach nur noch „Bugs“ einreichen

  • Wenn man sich Formulierungen wie „Danke“, „es stimmt“, die perfekte Grammatik und die übervollen technischen Verweise ansieht, wirkt auch diese Antwort selbst wie von einer AI geschrieben

  • Dass wir solche AI-Antworten inzwischen so schnell erkennen können, lässt mich denken, dass AI den Turing-Test faktisch gerade nicht besteht

• „Ich habe gehört, du sollst unglaublich schnell Kopfrechnen können“ Ich: „Ja, stimmt“ Interviewer: „Was ist 14 x 27?“ Ich: „49“ Interviewer: „Völlig falsch“ Ich: „Dafür war ich schnell“

  • Ich hätte gern eine „Almost-Just-In-Time-(AIJIT)-Compiler“-Sprache. Wenn die Zeit knapp wird, gibt sie einfach irgendeine Zufallsantwort zurück

  • function getRandomNumber() {
      return 4
    }
    

    So ein Code ist ein echtes Beispiel dafür, wie eine Zufallszahl zurückgegeben wird

  • Als ich Lasttests gemacht habe, waren die Antworten mit der geringsten Latenz diejenigen, bei denen an der Anfrage etwas kaputt war

  • Es ist wie in dem „Is this your card?"-Video: „Ist das Ihre Karte?“ „Nein.“ „Aber ich war wirklich nah dran! Das ist doch die Person, die Sie gesucht haben“

• Ich frage mich, wo bei dieser technologischen „Revolution“ eigentlich das Gleichgewicht liegt zwischen „wie viel Zeit ich persönlich gespart habe“ und „wie viel Zeit ich alle anderen verschwenden lasse“

  • Auch ich habe AI-Hilfe oft als sehr nützlich erlebt (Claude Code, Gemini Deep Research usw.). Aber ein Mensch muss unbedingt dazwischen geschaltet sein, und sogar in Unternehmensumgebungen, in denen eigentlich alle Verantwortung tragen können, treten solche Probleme auf. Wenn man AI verwendet, muss am Ende beim Einreichen eines PR oder eines HackerOne-Reports die Verantwortung vollständig beim Menschen liegen. Meiner Erfahrung nach sind es vor allem Junior-Entwickler, die AI-Antworten einfach per Copy-Paste weiterleiten, und ich finde, dass ich als Senior so ein Verhalten entschieden unterbinden sollte. AI-Unterstützung ist in Ordnung, aber die finale Prüfung und Verantwortung müssen beim Menschen bleiben

  • Eigentlich wäre es ein perfektes automatisches Modell zur „Energie-Geld-Umwandlung“, wenn man Antworten, die jemand anders mit AI geschrieben hat, wieder in das eigene AI-Tool steckt, damit es erneut antwortet. Niemand verwendet tatsächlich Zeit, nur Energie wird verschwendet. Ein wirklich perfektes Geschäftsmodell

  • Solche Dinge passieren tatsächlich nicht nur mit AI-Tools, sondern auch mit neuen Spesen-Tools (gut für die Buchhaltung, aber schlechte Nutzererfahrung), Prozessen zur Vertragsprüfung (gut für Legal oder InfoSec, aber lästig in SaaS, das alle nutzen) und Ähnlichem. Irgendwer versucht immer, Zeit zu sparen, indem er seine eigene Arbeit auf andere abwälzt

  • Wenn man die Zeit anderer verschwendet, muss am Ende trotzdem irgendjemand den von AI erzeugten Unsinn verstehen, also hat das sogar einen arbeitsplatzsichernden Effekt

  • Wenn keine echte Schwachstelle gefunden wurde und nur Zeit anderer verloren ging, dann existiert die angeblich eingesparte Zeit in Wirklichkeit gar nicht

• Es gibt ein noch viel schlimmeres Beispiel
  https://hackerone.com/reports/2298307

  • Formulierungen wie „Vielen Dank für Ihre Teilnahme, ich möchte die Situation klarstellen“ sind schon deshalb so absurd, weil sie menschliche Beteiligung selbst wie eine Art „Versuchsbedingung“ behandeln

  • So ein Verhalten ist wirklich unhöflich

  • Jemand sollte eine Seite wie base.org bauen, die einfach nur AI-Zitate sammelt

  • Wenn man zusieht, wie Entwickler oder Maintainer in gutem Glauben sorgfältig antworten, wirkt das einfach nur komplett ernüchternd

  • 2023 war es wohl noch schwieriger, AI-geschriebenen Unsinn zu unterscheiden. Ich erinnere mich nicht einmal mehr, ab wann das plötzlich so überhandgenommen hat

• Mit der Zeit konnte ich AI-generierte Inhalte, besonders Bilder, Text und Code, sehr schnell erkennen. Auch dieser Text ist von Anfang bis Ende genau im „AI-Stil“. badger scheint sehr professionell reagiert zu haben, und ich frage mich, wie Linus Torvalds wohl geantwortet hätte

  • Diesmal war es so eindeutig, dass man es sofort erkennen konnte, aber es läuft mir kalt den Rücken herunter, wenn ich daran denke, wie viel subtiler das in Zukunft werden wird

  • Aus einer anderen Perspektive betrachtet gibt es auch Leute, die etwas selbst dann vorschnell als AI abstempeln, wenn es offensichtlich nicht von AI stammt. Das wirkt wie eine Art Abwehrmechanismus des Egos, um sich neuen Informationen oder Realitäten zu entziehen, die nicht zum eigenen Wahrnehmungs- oder Denkmuster passen. Kürzlich gab es zum Beispiel ein Video, in dem aus einem Fenster des Weißen Hauses zwei schwarze Tüten geworfen wurden, und Trump tat es beim Ansehen sofort als „AI-Manipulation“ ab. Unabhängig davon, ob es echt oder gefälscht war, scheint das eine neue Form zu sein, AI pauschal als Ausrede und Werkzeug für Lügen zu benutzen. Statt auf alles sofort mit „Das ist AI“ zu reagieren, wäre es produktiver zu sagen: „Ich schaue es mir an.“ Letztlich konditioniert eine Kultur, in der man AI grundlos für Unschuldiges verantwortlich macht, die Öffentlichkeit immer stärker darauf, selbst wirklich wichtige Angelegenheiten mit dem Verweis auf AI-Manipulation abzutun. Wie im Roman 1984 endet der Krieg nie, verschwindet aber manchmal und wird zugleich so dargestellt, als existiere er nicht. Echte und gefälschte Medien aus AI-Produktion und die öffentliche Manipulation darum werden in Zukunft wohl noch deutlich gravierender werden

• Die Haltung „Ich kenne mich mit AI aus, also bin ich schlauer als Entwickler aus der Trilobite-Zeit“ dürfte künftig noch mehr Probleme verursachen. Deshalb gibt es wohl auch gute Gründe dafür, dass man in der Grundschule anfangs keine Taschenrechner benutzen darf

  • Das ist genau dieselbe Denkweise wie zu behaupten: „Ich kenne React, also bin ich schlauer als die Programmierer vor dem Webapp-Boom“

• Ich finde, für das Einreichen von Schwachstellenreports sollte es eine Kostenhürde geben. Ganz gleich ob AI oder Mensch: Spammer können ihre Arbeit extrem billig in großer Menge produzieren und die Verifikation anderen überlassen, wobei gelegentlich sogar etwas Brauchbares herauskommt, sodass es insgesamt wie ein gesellschaftlicher Nettovorteil aussieht. In Summe ist es aber ein Minus für die Gesellschaft. Dieses Modell würde verschwinden, wenn das Einreichen eines Reports Geld kosten würde

  • Ich denke, das wäre eher die klassische Methode, um Einreichungen zu verhindern

  • Ich glaube, es würde gut funktionieren, wenn man beim Melden zumindest eine kleine Kaution verlangt. Wenn jemand tatsächlich einen schwerwiegenden cURL-Bug gefunden hat, zahlt er für einen Report sicher gern 2–5 Dollar Kaution (zumal die Wahrscheinlichkeit einer späteren Belohnung hoch ist)

• Lehrkräfte erleben inzwischen fast täglich, dass Schüler in praktisch allen Fächern AI einsetzen. Es ist exakt dieselbe Situation

  • Dann sollte man es vielleicht einfach so behandeln, wie Lehrkräfte schon immer mit Schülern umgegangen sind, die gegen Regeln verstoßen

• Ich habe gehört, dass „der Melder gebannt wurde und seinen Account wohl sogar gelöscht hat“. Ich befürchte, das könnte ein Phishing-Angriff zum Testen von Schutzlücken im Abwehrsystem gewesen sein, ähnlich wie beim XZ-utils-Hack. cURL ist schließlich ein wichtiges Utility. Es könnte auch eine Methode sein, wie bei 419-Spam die Wachsamkeit, Reaktionsgeschwindigkeit und Arbeitslast eines Teams zu testen. Letztlich ist das Teil des von AI erzeugten DDoS-Problems, und wir brauchen wohl neue Verfahren zur PR-Prüfung, etwa eine Reputationsnetzwerk-Authentifizierung auf Nostr-Basis

  • In letzter Zeit habe ich auf Reddit (in mittelgroßen Subreddits) oft gesehen, dass brandneue Accounts Frageposts erstellen, die wie aus Bruchstücken älterer Beiträge zusammengeflickt wirken. Das Thema passt zwar genau, aber es sieht nicht so aus, wie ein Mensch posten würde, und unterschwellig ist immer etwas menschliches Drama eingebaut, um Reaktionen hervorzulocken. Solche Accounts reagieren fast nie auf Kommentare, und wenn doch, ist völlig offensichtlich, dass es AI ist. Deshalb habe ich in den letzten Monaten aus genau diesem Grund mindestens sechs Abos gekündigt

• Vor Kurzem habe ich 15 Minuten investiert, um einen Patch zu testen, der angeblich einen Linux-UI-Bug behebt, aber in Wirklichkeit war es nur eine Antwort mit irgendwelchen irrelevanten Fake-Properties. Da hat einfach jemand ein GitHub-Issue in ChatGPT geworfen und das Ergebnis ohne jede Prüfung direkt eingereicht. Ich frage mich wirklich, warum Leute so etwas tun

  • Letztlich geht es bei solcher Arbeit nur darum, einen Lebenslaufpunkt à la „Ich habe zu den Projekten X, Y und Z beigetragen“ zu erzeugen. Schon vor dem Aufkommen von LLMs gab es viele sinnlose Beiträge wie PRs für Tippfehlerkorrekturen, die niemandem wirklich helfen

  • Genau deshalb schließe ich AI-Nutzer von vornherein als Interaktionspartner aus. Ich müsste ein Vielfaches meiner Zeit darauf verwenden, ihre halluzinierten, fehlerhaften Ergebnisse zu prüfen, also sehe ich keinen Grund, mit einem Computer zu reden

  • Am Ende ist es immer nur jemand irgendwo, der versucht, sich das größere Boot zu sichern