1 Punkte von GN⁺ 2026-02-16 | 1 Kommentare | Auf WhatsApp teilen
  • Ein Text über den Zusammenbruch des Vertrauens ins Internet, ausgehend von einem Fall, bei dem bei der Suche nach dem Neuauflagen-Spiel „Phantasy Star Fukkokuban“ für das japanische Sega Genesis ein von KI erzeugter Fake-Artikel entdeckt wurde, der tatsächlich nicht existierende Inhalte beschrieb
  • Eine in den oberen Suchergebnissen platzierte Website veröffentlichte einen Beitrag mit Inhalten wie verbesserter Grafik und Wettereffekten, die mit den Tatsachen überhaupt nichts zu tun hatten; später stellte sich heraus, dass es sich um eine von einem Large Language Model (LLM) erzeugte Fiktion handelte
  • Als der Autor ChatGPT bat, dasselbe Spiel zu beschreiben, lieferte es ebenfalls falsche Plattform- und Inhaltsangaben, wodurch er das Phänomen der Halluzinationen infolge unzureichender Trainingsdaten direkt bestätigte
  • Solche automatisch erzeugten Inhalte fließen in großer Menge auf Werbeseiten mit SEO-Zweck, was eine Struktur verstärkt, in der plausibel klingende Falschinformationen ohne Verifikation verbreitet werden
  • Infolgedessen wird die gemeinsame Wissensbasis des Internets beschädigt, und verlässliche Informationen lassen sich letztlich nur noch auf renommierte Websites aus der Zeit vor den LLMs stützen

Der Fall Phantasy Star Fukkokuban

  • „Phantasy Star Fukkokuban“ für das Sega Genesis, 1994 in Japan veröffentlicht, ist eine Neuauflage, die das ursprüngliche Master-System-Spiel unverändert enthält
    • Auf einigen Genesis-Konsolen lassen sich Master-System-Spiele nicht ausführen, weshalb auch dieses Modul dort nicht funktioniert
    • Als der Autor das Erscheinungsdatum dieses Spiels überprüfen wollte, stieß er in den oberen Suchergebnissen auf eine Website mit Falschinformationen
  • Die betreffende Website „Press Start Gaming“ erwähnte verbesserte Grafik, Wettereffekte und einen Tag-Nacht-Wechsel, die im tatsächlichen Spiel nicht existieren
    • Obwohl der erste Satz des Artikels „Game data not found“ lautete, folgte dennoch ein von KI erzeugter, plausibel wirkender Beschreibungstext

Das Halluzinationsproblem großer Sprachmodelle

  • LLMs arbeiten auf Basis der Vorhersage des nächsten Tokens und erzeugen bei seltenen Themen, die in den Trainingsdaten nicht vorkommen, plausibel klingende Fiktionen
    • Durch die Kombination der Bedeutung der Wörter aus der Reihe „Phantasy Star“ und „Fukkokuban“ (Neuauflage) wurde sich eine nicht existierende Remake-Version ausgedacht
  • Als der Autor ChatGPT bat, dasselbe Spiel zu beschreiben, erhielt er eine Antwort, die es fälschlich als eine Compilation für den Sega Saturn einordnete
    • Tatsächlich wurde es offenbar mit einem anderen Spiel namens „Phantasy Star Collection“ verwechselt
  • Ähnlich existiert auch zu einem anderen seltenen Spiel des Autors, „Mahjong Daireikai“, im japanischsprachigen Web eine von KI erzeugte fiktive Beschreibung

Der Zusammenbruch des Vertrauens ins Internet

  • Bei der Website „Press Start Gaming“ handelt es sich vermutlich um eine automatisierte Content-Plattform zur Generierung von Werbeeinnahmen
    • Am Seitenende steht der Hinweis „©2025 Cloud Gears Media“, doch eine tatsächliche Verbindung zu einem realen Unternehmen ist unklar
    • Solche Websites priorisieren Sichtbarkeit in Suchmaschinen (SEO) statt faktentreuer Information
  • Mit der Einführung von LLMs sind die Kosten für die Produktion von Falschinformationen drastisch gesunken, und ungeprüfte Inhalte verbreiten sich massenhaft
    • Früher überprüften selbst schlecht bezahlte Autoren wenigstens noch minimale Fakten; heute erzeugt KI vollständig erfundene Inhalte
  • Der Autor sagt, neuen Websites könne man inzwischen nur schwer vertrauen, und man sei dazu übergegangen, sich nur noch auf Medien zu verlassen, die sich bereits vor dem KI-Zeitalter einen Ruf aufgebaut haben

Beschädigung des Informationsökosystems im KI-Zeitalter

  • Der Autor bewertet das gemeinsame Wissen des Internets (common) als bereits irreversibel beschädigt
    • Selbst verlässliche Informationsquellen laufen Gefahr, durch KI-Inhalte kontaminiert zu werden
    • Als Beispiel nennt er einen Fall, in dem Ars Technica einen Artikel mit einem KI-generierten Zitat veröffentlichte und ihn anschließend korrigieren und zurückziehen musste
  • Wenn LLMs künftig mehr Daten integrieren, könnte sich die Genauigkeit eines Tages verbessern, doch der aktuelle Schaden entsteht bereits jetzt
  • Der Autor bezeichnet den Text als bloßen Rant, betont damit aber gerade das konkrete Gefühl des Vertrauensverlusts ins Internet

Fazit

  • Das von KI und SEO dominierte Content-Ökosystem priorisiert Produktionseffizienz statt Wahrheitsgehalt von Informationen
  • Dadurch erscheinen automatisch erzeugte, nicht verifizierte Texte weit oben in den Suchergebnissen und beschädigen die Grundlage für Lernen und Nachforschung der Nutzer
  • Der Autor beendet den Text mit der Feststellung „Man kann dem Internet nicht mehr trauen“ und deutet an, dass die Wiederherstellung des Vertrauens in digitales Wissen dringend ist

1 Kommentare

 
GN⁺ 2026-02-16
Hacker-News-Meinungen
  • Ich baue mit Freunden in unserem Ort ein Mesh-Netzwerk auf.
    Das offene Internet war schon seit Langem im Niedergang, aber LLMs beschleunigen nun sein Ende.
    Ich habe akzeptiert, dass das Internet der 90er und frühen 2000er jetzt tot ist.
    Ich denke, eine vertrauenswürdige lokale Netzwerkinfrastruktur ist künftig die Alternative.
    Es macht traurig, dass wir uns wegen Menschen, die nur ans Geldverdienen denken, in exklusive Räume zurückziehen müssen.

    • Es wirkt, als würde man das Problem auf der falschen Ebene lösen.
      Entscheidend ist nicht das Netzwerk, sondern die Qualität der Inhalte.
      Es reicht, ein Forum zu schaffen, in das nur vertrauenswürdige Leute eingeladen werden.
    • Ich bin 1985 zum ersten Mal online gegangen, aber ein lokal basiertes Internet fand ich noch nie nützlich.
    • Ich recherchiere gerade, wie ich mit Freunden auf der ganzen Welt einen Wireguard-Mesh-Service aufbauen kann.
      Viel Erfolg dabei.
    • Ich verfolge seit einigen Monaten aus demselben Grund ein ähnliches Projekt.
      Aktuell feile ich an einem netzwerkbasierten MP3-Player; es ist noch früh, aber ich bin optimistisch.
      Projektlink
    • Es wäre viel einfacher, einfach eine nur per Einladung zugängliche Website im bestehenden Web zu bauen.
  • Ich denke, ein Grund dafür, dass es online heute viel mehr Desinformation gibt als früher, könnten Prediction Markets sein.
    Die Struktur verzerrt bewusst die Wahrnehmung der Menschen, damit auf Ereignisse gewettet werden kann.
    Seit der LK99-Supraleiter-Geschichte von 2023 hat dieses Phänomen stark zugenommen.

    • Die meisten Ereignisse lassen sich kaum beeinflussen, daher kann eine falsche Wette sogar nach hinten losgehen.
    • Tatsächlich ist das Marktvolumen klein.
    • Interessante Hypothese, aber ich stimme nicht zu.
      Prediction Markets ermöglichen zwar, Informationen zu monetarisieren, sind aber nicht groß genug, um gezielt vorsätzliche Falschinformationen in relevantem Ausmaß zu verbreiten.
      Ich denke eher, dass Politiker, Influencer und auf Werbeeinnahmen ausgerichtete partizipative Falschinformation die Hauptursache sind.
    • LK99 war kein Halbleiter, sondern ein Supraleiter.
    • Wenn man nicht ohnehin schon vertrauenswürdige Informationsquellen hat, ist es nur eine Frage der Zeit, bis man sich durch Webartikel ein falsches Bild von der Welt macht.
  • Das Problem ist der Zusammenbruch des Vertrauens im Internet.
    Früher fiel man höchstens gelegentlich auf falsche Informationen herein, heute ist das Netz voller von Bots reproduzierter Inhalte.
    Das Verhältnis von Menschen zu Bots ist fast bei null.
    Am Ende haben wir das Web selbst niedergebrannt.

    • Ich war auch deprimiert, nachdem ich zu demselben Schluss gekommen war.
      Inzwischen scheinen nicht einmal die Leute, die das Ganze gesteuert haben, noch zu verstehen, was eigentlich passiert.
    • Deshalb ist die Dead-Internet-Theorie inzwischen Realität geworden.
    • Diese kontaminierten Daten werden schließlich auch künftige AI-Modelle ruinieren.
      Deshalb könnten die heutigen Modelle am Ende sogar als die am wenigsten verzerrte Version übrig bleiben.
  • Ich habe darüber nachgedacht, wie man HN schützen könnte, aber am Ende scheint es außer einem einladungsbasierten System keine Antwort zu geben.
    In letzter Zeit bin ich emotional erschöpft, weil ich schon daran zweifle, ob Kommentare überhaupt noch von Menschen stammen.

    • Für ein einladungsbasiertes Modell gibt es mit lobste.rs bereits ein Beispiel.
    • Aber HN ist schon jetzt voller Leute aus der AI-Branche.
      Die Stimmung ist so, als würde man AI wie eine Religion verehren; dazu kommen Bot-Accounts und AI-gefilterte Kommentare.
      Das Fediverse wie Mastodon ist noch relativ gesund, aber irgendwann wird wohl auch dieser Raum kontaminiert werden.
  • Das Signal-Rausch-Verhältnis (SNR) im Internet ist auf einem historischen Tiefstand.
    Ich denke, die einzige Lösung sind digital signierte Nachweise menschlicher Identität.
    Über Systeme wie eIDAS müsste man Menschlichkeit nachweisen können, ohne die Anonymität aufzugeben.

    • Die „Tragik der Allmende“ ist ein fiktives Konzept, das die tatsächliche Geschichte nicht erklärt.
      Link zur zugehörigen Diskussion
    • Eine Suchmaschine, die nur von Menschen verifizierte Beiträge anzeigt, wäre interessant.
      Die Anonymität sollte erhalten bleiben, aber die Struktur müsste Sybil-Angriffe verhindern.
    • Letztlich würden Menschen AI dann wieder benutzen, also wäre das keine grundlegende Lösung.
    • Stimmt, das SNR sinkt.
    • Mit einer Trust-Tree-Struktur könnte man Vertrauen danach gewichten, wie nah ein Knoten ist.
  • Ich war schockiert, als ich nach Videos zum Intel i7-4790T gesucht habe.
    Die meisten neueren Videos waren „Slop“-Inhalte, in denen LLM-generierte Skripte vorgelesen wurden.
    Das Produkt wurde nie im Einzelhandel verkauft, aber YouTube-Kanäle laden trotzdem dutzendweise solche Videos pro Tag hoch und verdienen an Amazon-Affiliate-Links.
    Beispielvideo 1 / Beispielvideo 2

  • Jetzt, da die Kosten für die Erstellung gefälschter Inhalte nahezu null sind, brauchen wir einen skalierbaren Vertrauensmechanismus.
    Ich persönlich finde eine Web-of-Trust-Struktur attraktiv.
    Einige werden dadurch ausgeschlossen, aber das ist wohl unvermeidlich.
    Ich baue gerade ein zusätzliches Archiv auf Basis des Gemini-Protokolls.
    Aufgezeichnet wird nur das Web, das über robots.txt erlaubt ist.

    • Wenn sich Web of Trust allgemein durchsetzt, werden Delegation und Entzug von Vertrauen möglich, wodurch Ausgrenzung abnehmen dürfte.
      Nicht nur zwischen Personen, sondern auch zwischen Websites könnte ein Vertrauensnetz entstehen.
      Es könnte auf Ebene lokaler Communities oder Hobbygruppen beginnen und sich schrittweise ausweiten.
  • Kürzlich habe ich nach Informationen zum neuen Hollow Knight gesucht und mehrere von LLMs erzeugte Fake-Walkthrough-Seiten gesehen.
    Das Spiel ist erst seit sechs Monaten draußen, daher gibt es noch nicht viele echte Informationen, und offenbar zielen diese Seiten auf Werbeeinnahmen.
    Ich frage mich, ob es sich überhaupt lohnt, selbst bei solchen Nischenthemen Fake-Inhalte zu produzieren.

    • Da die Produktionskosten fast null sind, könnte das auch wie Erkundung durch Kontamination funktionieren.
      Die Bullshit-Asymmetrie-Theorie scheint in der Praxis zu greifen.
    • Wenn man in einem VLCOL-Land (Very Low Cost of Living) lebt und kostenlose Tools nutzt, reicht schon ein sehr kleiner Gewinn aus, damit es sich lohnt.
  • Websites mit schlechtem SEO sind eher vertrauenswürdig.

  • Die Zukunft des Internets wird wohl in Richtung einladungsbasierter Communities gehen.
    Ich frage mich, ob das die nächste Generation von Foren sein wird oder ob wir zur PHPBB-Ära zurückkehren.

    • Aber auch solche Räume werden bald durch Bot-Infiltration und politische Schlagseite kontaminiert werden.
      Überleben können nur Inhalte, die weder für Spiele noch für Spam interessant sind.
    • lobste.rs kommt dieser Form bereits ziemlich nahe.
      Es hat eine ähnliche Atmosphäre wie HN, wird aber als nur per Einladung zugängliche Struktur betrieben.