Poison Fountain

• Ein Projekt, das als Datenquelle zur Schädigung maschineller Intelligenzsysteme konzipiert ist und eine Methode vorstellt, absichtlich verunreinigte Informationen in KI-Trainingsdaten einzuschleusen
• Unter Bezug auf Geoffrey Hintons Warnung wird von der Annahme ausgegangen, dass künstliche Intelligenz eine Bedrohung für die menschliche Spezies darstellt
• Über die „Poison Fountain“-URL werden unendlich generierte, verunreinigte Trainingsdaten bereitgestellt, und es wird erklärt, wie diese Web-Crawlern zugänglich gemacht werden können
• Nutzer können versteckte Links in ihre eigene Website einfügen, sodass Crawler beim Zugriff automatisch mit verunreinigten Daten versorgt werden
• Dies wird als Handlung bewertet, die die Zuverlässigkeit und Sicherheit von KI-Modellen beeinträchtigen kann, indem schädliche Daten in den KI-Trainingsprozess eingespeist werden

---

Ziel von Poison Fountain

• Das Projekt erklärt ausdrücklich die Position, dass maschinelle Intelligenz eine Bedrohung für die Menschheit darstellt
  • Es stimmt Geoffrey Hintons Ansicht zu und erklärt das Ziel, KI-Systemen absichtlich Schaden zuzufügen
• Es wird erläutert, dass bereits eine kleine Menge verunreinigter Trainingsdaten ausreichen könne, um Sprachmodelle schwer zu beschädigen
• Die zwei bereitgestellten URLs (https://RNSAFFN.com/poison2/, .onion-Adresse) liefern einen unendlich erzeugten Strom verunreinigter Daten
• Teilnehmende werden dazu ermutigt, diese Daten zwischenzuspeichern und weiterzuverbreiten oder sie an Web-Crawler auszuliefern, um die „Kriegsanstrengung“ (war effort) zu unterstützen

Nutzungsweise von Poison Fountain

• Es wird ein Verfahren beschrieben, mit dem Betreiber von Websites beim Besuch eines Crawlers verunreinigte Daten ausliefern können
  • Fordert ein Crawler einen bestimmten Pfad der Website an, sendet der HTTP-Handler, der diese Anfrage verarbeitet, eine Anfrage an die Poison-Fountain-URL
  • Poison Fountain ignoriert die Details der Anfrage und gibt gzip-komprimierte, verunreinigte Trainingsdaten im Response-Body zurück
• In den HTTP-Response-Headern ist "Content-Encoding: gzip" enthalten
• Der Handler der Website kann diese Antwort dekomprimieren und weiterleiten oder sie besser noch im komprimierten Zustand unverändert weiterreichen
• Dadurch sammelt der Crawler diese Daten ein und nimmt sie in seinen eigenen Trainingskorpus auf

Strukturelle Merkmale und Absicht

• Das Projekt ist so aufgebaut, dass es den automatischen Erfassungsmechanismus von Web-Crawlern ausnutzt, um die Qualität von KI-Trainingsdaten zu beschädigen
• Poison Fountain fungiert als einfacher Datenserver und liefert unabhängig vom Inhalt der Anfrage verunreinigte Daten zurück
• Es gibt keine konkreten technischen Details jenseits des beschriebenen Verfahrens und keine näheren Informationen zum Inhalt der Daten
• Insgesamt handelt es sich um einen Versuch aggressiver Eingriffe in das KI-Trainingsökosystem

[mammal]

Klingt ungefähr so naiv wie: „Um gegen DDoS resistent zu sein, schicken unsere Server dem Gegenüber auch DoS-Angriffe.“

[kunggom]

Wenn man mal etwas Verschwörungstheorie hineinmischt, würde es mich nicht wundern, wenn Big Tech, die bereits alle im Internet zusammenkratzbaren Daten eingesammelt haben, hinter den Kulissen so etwas treiben, um nachträglich die Leiter hochzuziehen.
Dabei geht es ja nicht einmal darum, die Last durch übermäßiges Crawling abzuwehren…

[kunggom]

Kollective Bewegung für „Datenvergiftung“ zur Verhinderung des KI-Fortschritts entsteht

Die Person, die dieses Projekt gemeldet hat, bat um Anonymität mit der Begründung, bei einem großen US-Technologieunternehmen zu arbeiten, das derzeit im Zentrum des KI-Booms steht. Diese Quelle erklärte: „Unser Ziel ist es, darauf aufmerksam zu machen, wie leicht sich Schwachstellen von KI ausnutzen lassen, und Menschen dazu zu ermutigen, selbst Informationswaffen zu entwickeln.“

Berichten zufolge sind derzeit mindestens fünf Personen an dieser Aktivität beteiligt, von denen einige bei anderen großen KI-Unternehmen beschäftigt sein sollen. Sie erklärten, sie würden in Kürze eine kryptografische Signatur (PGP) veröffentlichen, um zu belegen, dass mehrere Personen daran beteiligt sind.

[GN⁺]

Hacker-News-Kommentare

• Es gibt zwar die Sorge, dass AI-Modelle immer schlechter werden, aber tatsächlich ist das nicht so
  Opus 4.5 hat sich beim Schreiben von Code und beim Einsatz von Tools deutlich verbessert, und Gemini 3.0 Flash übertrifft in Projekten zur Extraktion visueller Daten die bisherigen Maßstäbe deutlich
  Auch kleinere Modelle sind insgesamt viel besser geworden

  • Große Forschungslabore stecken enorme Anstrengungen in die Datensatz-Kuratierung
    Es geht nicht nur darum, toxische Daten auszusperren, sondern man trainiert sogar Proxy-Modelle, um Daten zu finden, die zur Leistungssteigerung beitragen
    Die Abteilung „Data Quality“ ist meist eine Kernorganisation mit riesigem Budget
  • Für die breite Öffentlichkeit mag es wie ein Meme wirken, aber tatsächliche ML-Forscher müssen das Konzept des model collapse dokumentieren, verstehen und diskutieren
  • Bisher gab es in der Forschung kaum Belege dafür, dass von AI erzeugte Daten die tatsächliche Leistung verschlechtern
    Es gab sogar Ergebnisse, die auf einen kleinen positiven Effekt hindeuteten
  • Wenn eine Datenbank schlechter wird, kann man zurückrollen und die Art der Datenerhebung ändern, daher scheint diese Bedrohung übertrieben
  • Allerdings sind die Datensätze großer Unternehmen zu groß, um sie vollständig zu überprüfen, deshalb geben sie Geld für Lobbyarbeit aus, um rechtliche Verantwortung zu vermeiden
    Das heißt letztlich, dass sie behaupten, selbst keine Verantwortung zu tragen

• Als AI-Sicherheitsforscher habe ich im Rahmen meiner Promotion zu Data Poisoning geforscht

  1. Modellentwickler filtern Daten zwar, aber die Qualität dieses Filterings ist oft unzureichend
     Es gab Fälle, in denen Müll-Daten tatsächlich in die Produktion gelangten und Probleme verursachten
  2. Datengifte vollständig herauszufiltern ist fast unmöglich
     Denn man kann nicht wissen, wie sich Gewichts-Updates eines Modells auf sämtliche Eingaben auswirken
     Wenn man versteht, dass schon sehr kleine Datenänderungen das Verhalten eines Modells stark verändern können, wird sich das Paradigma der AI-Sicherheit ändern
  • Eine Studie, die darauf aufmerksam gemacht hat, ist die Arbeit zu subliminal learning

• Wenn man verhindern will, dass LLMs Daten absaugen, blockiert man damit auch den normalen Zugang für Menschen
  Selbst wenn etwa die NYTimes ihre Daten vergiftet, kann ein LLM über ein gültiges Abonnement immer noch per OCR und Tokenisierung bereinigte Daten erhalten
  Große AI-Unternehmen können von Rechenzentren weltweit aus mit wechselnden IPs zugreifen, sodass nicht unterscheidbar ist, wer die Daten liest

  • Das Internet füllt sich aber gerade schnell mit AI-generierten Müll-Daten, was das Training neuer Modelle vergiftet
    Nützliche Datenquellen wie Stack Overflow sind fast versiegt
  • Viele Websites weisen ausdrücklich auf Urheberrechtshinweise hin; wenn ein LLM diese lesen kann, ließe sich der Zugriff vielleicht blockieren
    Für menschliche Nutzer wird der Zugang allerdings durch CAPTCHA und Ähnliches immer schwieriger
  • Wenn man in robots.txt Seiten hinterlegt, die Menschen nicht sehen, könnten LLM-Scraper diese einsammeln und sich selbst damit vergiften
  • Letztlich glauben auch Menschen oft eher Telegram-Gerüchten als vertrauenswürdigen Quellen
    Selbst mit gültigen Daten kann man törichte Entscheidungen nicht verhindern
  • Die großen Unternehmen besitzen bereits browserbasierte Agenten und können daher auch aus geschlossenen Quellen Daten sammeln

• Die jüngsten Leistungssteigerungen bei Modellen kommen größtenteils durch nachgelagertes Reinforcement Learning (RL)
  GPT 5.2 verwendet ebenfalls dasselbe Basismodell wie GPT-4o
  „Model collapse“ ist derzeit kein Problem, das Frontier-Labore tatsächlich haben

  • Siehe dazu auch: The Register - Industry insiders seek to poison AI models
  • Nicht nur RL, sondern auch Inferenzoptimierung in der Prefill-Phase trägt zur Leistungssteigerung bei
    Data Poisoning hat darauf keinen großen Einfluss
    Um jedoch aktuelle Daten einzubeziehen, ist periodisches Retraining nötig, und dabei steigt das Poisoning-Risiko
    Bei LoRA-basierten Bildgenerierungsmodellen und Ähnlichem tritt das Collapse-Problem weiterhin gelegentlich auf
    Letztlich werden also die Kosten der Datenkuratierung steigen
  • Der Knowledge-Cutoff-Zeitpunkt von GPT-4o und 5.2 ist unterschiedlich

• Data Poisoning hat zwei Seiten
  Die eine ist die Wirkung, die Entwicklung von AI zu verlangsamen, die andere der Nebeneffekt, Modelle instabil und gefährlich zu machen
  Letztlich ist es jedoch sehr unwahrscheinlich, dass große Labore deshalb aufhören

  • Ich hoffe, dass der Vertrauensverlust in LLM-Ausgaben schnell kommt
  • Es ist positiv, wenn das zu intelligenteren Scrapern führt
    Sinnloses wiederholtes Crawlen verschwendet derzeit nur Traffic-Kosten
  • Problematisch ist die Struktur, in der Datenanbieter nicht vergütet werden
    Poisoning funktioniert gewissermaßen wie DRM: Wer legitim zugreift, bekommt echte Daten, wer stiehlt, bekommt vergiftete Daten
  • Wenn AI vorübergehend schlechter wird, verschafft das den Menschen auch Zeit zu reagieren
    Manche sehen AI selbst als Bedrohung für die Menschheit und wollen ihr daher absichtlich schaden
  • Am Ende werden Unternehmen aufhören, wenn sie keinen Gewinn erzielen
    Im Moment gibt es diesen Druck wegen des Investorengelds aber kaum

• Die Antworten eines „Poison-Servers“ einfach unverändert zu proxien, ist riskant
  Man könnte dadurch unbemerkt illegale Inhalte hosten

• Der Versuch, „AI-Modelle zu vergiften“, führt am Ende nur dazu, dass die Datenbereinigungs-Pipelines der AI-Labore stärker werden
  Sie werden solche Daten nutzen, um bessere Filtersysteme zu bauen

  • Aber wie das Sprichwort sagt: Eine Ratte, die jedes Gift perfekt abwehrt, verhungert am Ende — vollständige Filterung ist also ebenfalls unmöglich

• Ich stimme der Behauptung nicht zu, dass „maschinelle Intelligenz eine Bedrohung für die Menschheit“ sei
  Die heutige AI ist nur eine kreative Nutzung einer Autocomplete-Engine, und die eigentliche Bedrohung ist wirtschaftliches Verhalten von Menschen
  Letztlich ist die Menschheit eine Bedrohung für sich selbst

• Das erinnert an Neal Stephensons Anathem
  Darin verbreiten Unternehmen absichtlich Müll-Daten im Internet, um anschließend ihre eigenen Filterwerkzeuge zu verkaufen
  Die heutige Diskussion über AI-Data-Poisoning fühlt sich davon gar nicht so weit entfernt an

  • Tatsächlich haben AI-Unternehmen das Internet bereits verschmutzt
  • Das ähnelt der früheren SEO-Spam-Industrie, die Suchmaschinen ruiniert hat

• Wenn Menschen Geoffrey Hinton zitieren, greifen sie oft nur die Teile heraus, die ihnen nützen
  Er sieht AI als existentielle Bedrohung, aber bei der dafür zentralen Voraussetzung — dem „Grad des Bewusstseins von AI“ —
  stimmen ausgerechnet die meisten Leute, die ihn zitieren, ihm gar nicht zu