Man kann dem Internet nicht mehr trauen
(nicole.express)- Ein Text über den Zusammenbruch des Vertrauens ins Internet, ausgehend von einem Fall, bei dem bei der Suche nach dem Neuauflagen-Spiel „Phantasy Star Fukkokuban“ für das japanische Sega Genesis ein von KI erzeugter Fake-Artikel entdeckt wurde, der tatsächlich nicht existierende Inhalte beschrieb
- Eine in den oberen Suchergebnissen platzierte Website veröffentlichte einen Beitrag mit Inhalten wie verbesserter Grafik und Wettereffekten, die mit den Tatsachen überhaupt nichts zu tun hatten; später stellte sich heraus, dass es sich um eine von einem Large Language Model (LLM) erzeugte Fiktion handelte
- Als der Autor ChatGPT bat, dasselbe Spiel zu beschreiben, lieferte es ebenfalls falsche Plattform- und Inhaltsangaben, wodurch er das Phänomen der Halluzinationen infolge unzureichender Trainingsdaten direkt bestätigte
- Solche automatisch erzeugten Inhalte fließen in großer Menge auf Werbeseiten mit SEO-Zweck, was eine Struktur verstärkt, in der plausibel klingende Falschinformationen ohne Verifikation verbreitet werden
- Infolgedessen wird die gemeinsame Wissensbasis des Internets beschädigt, und verlässliche Informationen lassen sich letztlich nur noch auf renommierte Websites aus der Zeit vor den LLMs stützen
Der Fall Phantasy Star Fukkokuban
- „Phantasy Star Fukkokuban“ für das Sega Genesis, 1994 in Japan veröffentlicht, ist eine Neuauflage, die das ursprüngliche Master-System-Spiel unverändert enthält
- Auf einigen Genesis-Konsolen lassen sich Master-System-Spiele nicht ausführen, weshalb auch dieses Modul dort nicht funktioniert
- Als der Autor das Erscheinungsdatum dieses Spiels überprüfen wollte, stieß er in den oberen Suchergebnissen auf eine Website mit Falschinformationen
- Die betreffende Website „Press Start Gaming“ erwähnte verbesserte Grafik, Wettereffekte und einen Tag-Nacht-Wechsel, die im tatsächlichen Spiel nicht existieren
- Obwohl der erste Satz des Artikels „Game data not found“ lautete, folgte dennoch ein von KI erzeugter, plausibel wirkender Beschreibungstext
Das Halluzinationsproblem großer Sprachmodelle
- LLMs arbeiten auf Basis der Vorhersage des nächsten Tokens und erzeugen bei seltenen Themen, die in den Trainingsdaten nicht vorkommen, plausibel klingende Fiktionen
- Durch die Kombination der Bedeutung der Wörter aus der Reihe „Phantasy Star“ und „Fukkokuban“ (Neuauflage) wurde sich eine nicht existierende Remake-Version ausgedacht
- Als der Autor ChatGPT bat, dasselbe Spiel zu beschreiben, erhielt er eine Antwort, die es fälschlich als eine Compilation für den Sega Saturn einordnete
- Tatsächlich wurde es offenbar mit einem anderen Spiel namens „Phantasy Star Collection“ verwechselt
- Ähnlich existiert auch zu einem anderen seltenen Spiel des Autors, „Mahjong Daireikai“, im japanischsprachigen Web eine von KI erzeugte fiktive Beschreibung
Der Zusammenbruch des Vertrauens ins Internet
- Bei der Website „Press Start Gaming“ handelt es sich vermutlich um eine automatisierte Content-Plattform zur Generierung von Werbeeinnahmen
- Am Seitenende steht der Hinweis „©2025 Cloud Gears Media“, doch eine tatsächliche Verbindung zu einem realen Unternehmen ist unklar
- Solche Websites priorisieren Sichtbarkeit in Suchmaschinen (SEO) statt faktentreuer Information
- Mit der Einführung von LLMs sind die Kosten für die Produktion von Falschinformationen drastisch gesunken, und ungeprüfte Inhalte verbreiten sich massenhaft
- Früher überprüften selbst schlecht bezahlte Autoren wenigstens noch minimale Fakten; heute erzeugt KI vollständig erfundene Inhalte
- Der Autor sagt, neuen Websites könne man inzwischen nur schwer vertrauen, und man sei dazu übergegangen, sich nur noch auf Medien zu verlassen, die sich bereits vor dem KI-Zeitalter einen Ruf aufgebaut haben
Beschädigung des Informationsökosystems im KI-Zeitalter
- Der Autor bewertet das gemeinsame Wissen des Internets (common) als bereits irreversibel beschädigt
- Selbst verlässliche Informationsquellen laufen Gefahr, durch KI-Inhalte kontaminiert zu werden
- Als Beispiel nennt er einen Fall, in dem Ars Technica einen Artikel mit einem KI-generierten Zitat veröffentlichte und ihn anschließend korrigieren und zurückziehen musste
- Wenn LLMs künftig mehr Daten integrieren, könnte sich die Genauigkeit eines Tages verbessern, doch der aktuelle Schaden entsteht bereits jetzt
- Der Autor bezeichnet den Text als bloßen Rant, betont damit aber gerade das konkrete Gefühl des Vertrauensverlusts ins Internet
Fazit
- Das von KI und SEO dominierte Content-Ökosystem priorisiert Produktionseffizienz statt Wahrheitsgehalt von Informationen
- Dadurch erscheinen automatisch erzeugte, nicht verifizierte Texte weit oben in den Suchergebnissen und beschädigen die Grundlage für Lernen und Nachforschung der Nutzer
- Der Autor beendet den Text mit der Feststellung „Man kann dem Internet nicht mehr trauen“ und deutet an, dass die Wiederherstellung des Vertrauens in digitales Wissen dringend ist
1 Kommentare
Hacker-News-Meinungen
Ich baue mit Freunden in unserem Ort ein Mesh-Netzwerk auf.
Das offene Internet war schon seit Langem im Niedergang, aber LLMs beschleunigen nun sein Ende.
Ich habe akzeptiert, dass das Internet der 90er und frühen 2000er jetzt tot ist.
Ich denke, eine vertrauenswürdige lokale Netzwerkinfrastruktur ist künftig die Alternative.
Es macht traurig, dass wir uns wegen Menschen, die nur ans Geldverdienen denken, in exklusive Räume zurückziehen müssen.
Entscheidend ist nicht das Netzwerk, sondern die Qualität der Inhalte.
Es reicht, ein Forum zu schaffen, in das nur vertrauenswürdige Leute eingeladen werden.
Viel Erfolg dabei.
Aktuell feile ich an einem netzwerkbasierten MP3-Player; es ist noch früh, aber ich bin optimistisch.
Projektlink
Ich denke, ein Grund dafür, dass es online heute viel mehr Desinformation gibt als früher, könnten Prediction Markets sein.
Die Struktur verzerrt bewusst die Wahrnehmung der Menschen, damit auf Ereignisse gewettet werden kann.
Seit der LK99-Supraleiter-Geschichte von 2023 hat dieses Phänomen stark zugenommen.
Prediction Markets ermöglichen zwar, Informationen zu monetarisieren, sind aber nicht groß genug, um gezielt vorsätzliche Falschinformationen in relevantem Ausmaß zu verbreiten.
Ich denke eher, dass Politiker, Influencer und auf Werbeeinnahmen ausgerichtete partizipative Falschinformation die Hauptursache sind.
Das Problem ist der Zusammenbruch des Vertrauens im Internet.
Früher fiel man höchstens gelegentlich auf falsche Informationen herein, heute ist das Netz voller von Bots reproduzierter Inhalte.
Das Verhältnis von Menschen zu Bots ist fast bei null.
Am Ende haben wir das Web selbst niedergebrannt.
Inzwischen scheinen nicht einmal die Leute, die das Ganze gesteuert haben, noch zu verstehen, was eigentlich passiert.
Deshalb könnten die heutigen Modelle am Ende sogar als die am wenigsten verzerrte Version übrig bleiben.
Ich habe darüber nachgedacht, wie man HN schützen könnte, aber am Ende scheint es außer einem einladungsbasierten System keine Antwort zu geben.
In letzter Zeit bin ich emotional erschöpft, weil ich schon daran zweifle, ob Kommentare überhaupt noch von Menschen stammen.
Die Stimmung ist so, als würde man AI wie eine Religion verehren; dazu kommen Bot-Accounts und AI-gefilterte Kommentare.
Das Fediverse wie Mastodon ist noch relativ gesund, aber irgendwann wird wohl auch dieser Raum kontaminiert werden.
Das Signal-Rausch-Verhältnis (SNR) im Internet ist auf einem historischen Tiefstand.
Ich denke, die einzige Lösung sind digital signierte Nachweise menschlicher Identität.
Über Systeme wie eIDAS müsste man Menschlichkeit nachweisen können, ohne die Anonymität aufzugeben.
Link zur zugehörigen Diskussion
Die Anonymität sollte erhalten bleiben, aber die Struktur müsste Sybil-Angriffe verhindern.
Ich war schockiert, als ich nach Videos zum Intel i7-4790T gesucht habe.
Die meisten neueren Videos waren „Slop“-Inhalte, in denen LLM-generierte Skripte vorgelesen wurden.
Das Produkt wurde nie im Einzelhandel verkauft, aber YouTube-Kanäle laden trotzdem dutzendweise solche Videos pro Tag hoch und verdienen an Amazon-Affiliate-Links.
Beispielvideo 1 / Beispielvideo 2
Jetzt, da die Kosten für die Erstellung gefälschter Inhalte nahezu null sind, brauchen wir einen skalierbaren Vertrauensmechanismus.
Ich persönlich finde eine Web-of-Trust-Struktur attraktiv.
Einige werden dadurch ausgeschlossen, aber das ist wohl unvermeidlich.
Ich baue gerade ein zusätzliches Archiv auf Basis des Gemini-Protokolls.
Aufgezeichnet wird nur das Web, das über robots.txt erlaubt ist.
Nicht nur zwischen Personen, sondern auch zwischen Websites könnte ein Vertrauensnetz entstehen.
Es könnte auf Ebene lokaler Communities oder Hobbygruppen beginnen und sich schrittweise ausweiten.
Kürzlich habe ich nach Informationen zum neuen Hollow Knight gesucht und mehrere von LLMs erzeugte Fake-Walkthrough-Seiten gesehen.
Das Spiel ist erst seit sechs Monaten draußen, daher gibt es noch nicht viele echte Informationen, und offenbar zielen diese Seiten auf Werbeeinnahmen.
Ich frage mich, ob es sich überhaupt lohnt, selbst bei solchen Nischenthemen Fake-Inhalte zu produzieren.
Die Bullshit-Asymmetrie-Theorie scheint in der Praxis zu greifen.
Websites mit schlechtem SEO sind eher vertrauenswürdig.
Die Zukunft des Internets wird wohl in Richtung einladungsbasierter Communities gehen.
Ich frage mich, ob das die nächste Generation von Foren sein wird oder ob wir zur PHPBB-Ära zurückkehren.
Überleben können nur Inhalte, die weder für Spiele noch für Spam interessant sind.
Es hat eine ähnliche Atmosphäre wie HN, wird aber als nur per Einladung zugängliche Struktur betrieben.