A16Zs bemerkenswerte Behauptung

 (nealstephenson.substack.com)
2 Punkte von GN⁺ 2025-11-29 | 1 Kommentare | Auf WhatsApp teilen
  • In der Empfohlenen-Literaturliste von A16Z wurde in der Beschreibung einiger Werke der Satz entdeckt, dass die meisten Bücher in der Mitte eines Satzes enden, eine falsche Aussage.
  • Neal Stephenson machte deutlich, dass seine Romane, auch wenn sie umstritten sein mögen, niemals tatsächlich in der Mitte eines Satzes geendet haben.
  • Er hält es für am wahrscheinlichsten, dass dieser Fehler entstanden ist, weil von KI generierte Formulierungen unverifiziert veröffentlicht wurden.
  • Tatsächlich wurde durch den Commit-Verlauf im GitHub-Repository ein von Cursor IDE erzeugter Entwurf und eine nachfolgende sorgfaltsmangelnde manuelle Korrektur nachgewiesen.
  • Der Vorfall ist als wichtiges Beispiel dafür zu werten, dass es bei KI-generierten Inhalten oft an Vertrauenswürdigkeit und Verifikation fehlt.

A16Z-Buchliste und fehlerhafte Formulierung

  • In der von A16Z veröffentlichten Empfehlungsliste sind mehrere Werke von Neal Stephenson enthalten.
    • In den Listenbeschreibungen war der Satz enthalten, dass „die meisten Bücher in der Mitte eines Satzes stehen bleiben“ (wörtlich: „an einem Satz mittendrin enden“).
  • Stephenson wies darauf hin, dass diese Formulierung nicht der Wahrheit entspricht und dass durch das Wort „literally“ klar sei, dass es sich nicht um ein bloßes sprachliches Bild, sondern um einen offensichtlichen Fehler handelt.
  • Er erklärte, dass manche Leser mit den Enden unzufrieden sein mögen, dass aber Snow Crash, The Diamond Age und Seveneves alle klare Schlüsse haben.

Natur des Fehlers und das Problem dahinter

  • Dieser Satz ist keine reine literarische Einschätzung (opinion), sondern eine falsche Tatsachenbehauptung (factual assertion).
  • Stephenson machte deutlich, dass dieser Fehler die Integrität von Autor und Redaktion beschädige.
  • Er stellte die Frage, wie eine solche Aussage überhaupt auf der A16Z-Website veröffentlicht werden konnte.

These 1: KI-generierte Formulierung

  • Er präsentierte als wahrscheinlichste Erklärung die Möglichkeit, dass eine von KI verfasste Formulierung ohne menschliche Qualitätskontrolle veröffentlicht wurde.
    • Tippfehler in der Namensschreibung und stilistische Auffälligkeiten stützen diese Annahme.
  • Dieses Muster kommt bereits in Recht, Wissenschaft, Journalismus und vielen anderen Bereichen häufig vor.
  • Stephenson verglich diesen Prozess mit der „Inhuman Centipede“ und wies auf das Risiko hin, dass fehlerhafte Informationen in das nachfolgende Training von LLMs einfließen könnten.

These 2: menschlicher Fehler bei Datenverwendung

  • Als zweite Möglichkeit nennt er menschliche Fehler auf Grundlage fehlerhafter Datenquellen.
    • Sub-Hypothese A: Die Nutzung einer illegalen Kopie (Bootleg-PDF) mit abgeschnittenem Ende als Referenz.
    • Sub-Hypothese B: Eine schlechte Übersetzungsqualität, durch die der Text wie ein Satzabbruch wirkte.

Tatsächliche Ursachenforschung

  • Stephenson stellte bei der Überprüfung der Seite im Commit-Verlauf eines GitHub-Repositories Belege fest.
    • In einem Commit vom 21. Juli 2023 wurde das Original der von Cursor IDE erzeugten Version bestätigt.
    • Im Original befand sich eine „segfault“-Metapher; später wurde sie durch einen Menschen zu der falschen Formulierung „in der Mitte eines Satzes enden“ geändert.
    • Anschließend fügte eine weitere Person im Rahmen der Zusammenfassung noch einen Tippfehler hinzu und vollendete so den Fehler.
  • Er bewertet dies als ein Ergebnis von bequemer KI-Nutzung und menschlicher Nachlässigkeit, die zusammenwirkten.

Glaubwürdigkeit im Internet und KI-Inhalte

  • Stephenson betont, dass Internetnutzer immer noch einen naiven Glauben an Online-Informationen zeigen.
  • Er verwies auf frühere Fälle, in denen Bruchstücke seiner Novelle Cryptonomicon zufällig in Spam-E-Mails eingefügt wurden.
    • Diese Fragmente waren tatsächlich mitten im Satz abgebrochen; er wies darauf hin, dass LLMs solche Daten unter Umständen gelernt haben könnten.
  • Er hob hervor, dass KI Inhalte erzeugen kann, ohne zwischen Fakt und Fiktion zu unterscheiden.

Fazit

  • Stephenson dankte A16Z für die Empfehlung, betonte jedoch die Notwendigkeit klarer Faktenchecks gegenüber der fehlerhaften Formulierung.
  • Der Vorfall gilt als Beispiel für die fehlende Verifikation KI-generierter Inhalte und die Verantwortung für menschliche Qualitätssicherung.

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2025-11-29
Hacker-News-Kommentar

  • Da die Commit-Historie öffentlich ist, lässt sich leicht erkennen, dass diese Leseliste von einer AI bearbeitet wurde
    Siehe diesen relevanten Commit-Link

    • Diese Version klingt viel natürlicher. Der von Opus erzeugte Satz lautete: „Es endet abrupt, als würde mitten in deiner Lieblingsfunktion ein Segfault auftreten“, wurde aber in einem späteren Commit zu „Die meisten Bücher hören mitten im Satz auf“ geändert
      Die Commit-Message lautet schlicht „stephenson“, daher ist unklar, warum die Änderung vorgenommen wurde
      Link zum korrigierten Commit
    • Es gab einen Satz wie „Stephenson ist nicht einfach nur ein SF-Autor, sondern jemand, der Betriebshandbücher für die Zukunft schreibt“, und das war wirklich ein typischer AI-generierter Stil. Immerhin gut, dass er korrigiert wurde
    • In diesem Commit stand der Kommentar „THIS IS AI GENERATED, NEED TO EDIT“. Damit ist im Grunde zugegeben, dass schon der Entwurf von AI geschrieben wurde
    • Einen Pull Request, der diesen Teil noch überarbeitet, sehe ich bisher nicht

  • Meine Erfahrungen mit LLMs sind nicht so positiv wie bei anderen
    Nimmt man etwa Googles Gemini-Promo als Beispiel: Dort wurde ein Zeitplan für die Vorbereitung des Thanksgiving-Dinners vorgeschlagen, aber auf Rückfragen kamen drei einander widersprechende Versionen
    Ein simples „Leg einfach ein Tuch über das Brot, damit es warm bleibt“ hätte gereicht, stattdessen kamen immer wieder völlig abwegige Antworten
    Bei Code-Generierung klappt es nur 1 von 6 Mal, bei StackOverflow-artigen Fragen 5 von 6 Mal, und bei allgemeinen Fragen ist es sehr wechselhaft
    Wenn es scheitert, dann so gravierend, dass es beängstigend wirkt, wie sehr die Welt auf massiven LLM-Einsatz zusteuert

    • Erstaunlich ist, dass Googles Aktie sich verdoppelt hat, obwohl sie so einen Generator für Unsinnsantworten vor ihre Kernservices gehängt haben
      Sogar auf die Frage nach dem „Aktienkurs am Tag vor dem Start von AI Overview“ kam eine falsche Antwort
    • Die meisten LLM-Fans scheinen von den Ergebnissen nur äußerlich beeindruckt zu sein und die tatsächlichen Fehler im Inhalt oder die Codequalität nicht genauer anzusehen
    • Ich habe Copilot zum Spaß einmal gebeten, ein Makefile für AVR-GCC zu schreiben, und heraus kam ein 2500-zeiliges Monster
      Länger als der eigentliche Code und ein unverständliches Spaghetti-Chaos, das im Grunde nur Variablendeklarationen wiederholt. Ich werde es nie wieder benutzen

  • Ich finde, man sollte A16Z nicht ernst nehmen. Wirken wie eine komplette Betrügertruppe

    • Wenn ein Recruiter mit einer A16Z-Investition prahlt, werte ich das eher als negatives Signal
    • Der Spruch „Software is eating the world, AI is eating the VCs“ passt genau
    • Es gab auch eine spöttische Reaktion mit „...and a conehead“

  • Es wäre wirklich großartig gewesen, wenn der Blogpost mitten im Satz aufgehört hätte

    • David Foster Wallaces erster Roman The Broom of the System endet mit „I am a man of my“
      Auch seine anderen Werke zeigen das chaotische Innenleben des Menschen, aber ohne Auflösung oder Moral
      Selbst nach über 2000 gelesenen Seiten bleibt das Fazit: „nicht empfehlenswert“
      Neal Stephenson möchte man fast sagen: „Danke, dass du mit einem vollständigen Satz aufgehört hast“
    • Ich musste den Impuls unterdrücken, mitten beim Lesen das Ende vorweg nachzuschlagen
      Seine Bücher fühlen sich immer so an, als würden sie entweder zu früh oder zu spät enden, weshalb ich trotz interessanter Prämissen nur schwer dazu greife
    • Es gab auch einen scherzhaften Kommentar nach dem Motto: „Ich habe auch keine originellen Ideen“
    • Jemand wies darauf hin: „Tatsächlich endet das Buch mitten in der Mitte“
    • Ein anderer reagierte lachend: „Darauf hatte ich auch gehofft, schade“

  • Das erinnert an Werner Herzogs Autobiografie
    Im Vorwort sagt er, dass sein Leben durch die Kugel eines Scharfschützen abrupt enden könnte, und kündigt an, dies als Mittel für ein plötzliches Buchende zu verwenden
    Und genau so endet es dann auch, nur dass direkt danach noch ergänzt wird: „Das ist genau das Ende, das ich angekündigt habe“ — eine typische Herzogsche Pointe

  • Wenn Großunternehmen zum Jahresende eine Leseliste veröffentlichen, ist das eine PR-Botschaft im Sinne von „Wir sind Menschen mit Gefühlen und Geschmack“
    Dieser Fall zeigt aber, dass es letztlich nur eine inszenierte Werbemaßnahme ist

  • Als ich den Satz sah: „Der Sinn des Lebens war ein Integer“, war für mich sofort klar, dass das definitiv ein von AI geschriebener Satz war

  • Die ganze Liste ist voller LLM-typischer Tonalität
    Wenn man die Quelle bedenkt, ist das auch nicht überraschend. Eigentlich hätte schon die erste Hypothese (dass es von einem LLM geschrieben wurde) ausreichen müssen

    • Sie behaupten zwar, „alle Bücher gelesen“ zu haben, aber wenn sie sie wirklich mochten, hätte man doch zumindest ein paar Sätze selbst geschrieben, oder?

  • Stephenson wird satirisch als dadaistischer Autor, der „mitten im Satz aufhört“, beschrieben

    • Darauf folgt ein selbstparodisches Zitat nach dem Muster: „In 100 Jahren wird man sich an mich genau als solchen Autor erinnern“

  • Eine andere Hypothese ist, dass es einfach nur ein Erinnerungsfehler war
    Vielleicht erinnerte man sich daran, dass ein vor langer Zeit gelesenes Stephenson-Buch ein fades Ende hatte, und verwechselte das mit einem anderen Buch, das „mitten im Satz endet“

    • Für eine offizielle Firmenrezension sollte man das Buch aber zumindest noch einmal aufgeschlagen und ein paar Seiten gelesen haben
    • Persönlich halte ich Hypothese A (AI-Verfasserschaft) für deutlich überzeugender
    • Oder es war Low-Cost-Marketing, bei dem man in eine von AI erzeugte Top-50-Liste noch ein paar eigene Werbebücher hineingeschoben hat
    • Vorgeschlagen wurde auch die Hypothese D wie Delany: ein Mensch, der irrtümlich glaubte, Stephenson habe Dhalgren geschrieben. Dazu wurde der auf „I have come to“ endende Satz zitiert