Das L in LLM steht für „Lügen“

• Trotz des Hypes um LLM-basierte Coding-Tools hat sich die Qualität realer Softwareentwicklungsergebnisse nicht wesentlich verbessert; stattdessen werden Outputs überschwemmt, die eher Fälschungen (forgery) ähneln
• Das Wesen dessen, was LLMs tun, besteht darin, dass Einzelne ihre eigenen oder fremden potenziellen Outputs nachahmen und schneller erzeugen; problematisch wird es, wenn dies als Ersatz für das Original verwendet wird
• Open-Source-Projekte erleiden bereits realen Schaden durch KI-generierte minderwertige PRs, schließen daher öffentliche Beiträge oder stoppen Bug-Bounty-Programme
• Während die Spieleindustrie unter Führung der Verbraucher wirksam Kennzeichnung und Filterung von KI-Inhalten einfordert, nehmen Softwareingenieure dies weitgehend schutzlos hin
• Damit LLMs aufhören zu lügen, ist korrekte Quellenzuordnung (source attribution) unverzichtbar, im aktuellen Modellaufbau jedoch technisch unmöglich

---

Einwände gegen den Frame der Unvermeidbarkeit von KI

• Laut Branchenhype sei klassische Softwareentwicklung vorbei, doch auch nach Jahren der Nutzung LLM-basierter Tools liegen die Ergebnisse fast auf demselben Niveau wie zuvor
• Enorme Mengen an Hype rund um die Technologie ziehen gewaltige Investitionen an, und diese Investitionen verlangen wiederum noch mehr Hype — ein zirkuläres System
• Neue Modelle werden fortlaufend trainiert, um Versprechen einzulösen, die inzwischen ausgemusterte Modelle eigentlich hätten erfüllen sollen
• „Es ist völlig okay, keine KI zu benutzen“ — das ist keine rückständige Haltung und kann sogar weniger Stress und mehr Zufriedenheit bedeuten als die Übernahme von KI

Handwerk (Craft) vs. Massenproduktion (Kraft): der Rahmen der Fälschung

• Unter den vielen Framings dessen, was LLMs tun (Hilfe, Kreativität, Produktivität vs. Faulheit, Wegwerfware, Aneignung), fehlt erstaunlicherweise gerade das Wort Fälschung (forgery)
• Malt man im Stil von Van Gogh und setzt seine Unterschrift darunter, ist das eine Fälschung; gibt man sich als Rechtsdokument aus, ist das eine Fälschung; eine Studie mit manipulierten Daten ist eine Fälschung — ob etwas eine Fälschung ist, liegt im Objekt und in seiner Herstellungsweise
• LLMs sind Werkzeuge, mit denen Einzelne Fälschungen potenzieller Outputs von sich selbst oder anderen schneller herstellen können
• Nachahmung an sich ist als freie Meinungsäußerung legal, doch problematisch wird es, wenn die Fälschung als Ersatz für das Original eingesetzt werden soll
• Wer einen Brief vom Weihnachtsmann „fälscht“, wird nicht verhaftet; aber selbst der bloße Besitz extrem präziser „Falschgeld“-Nachbildungen als Sammlerstücke ist in keiner Jurisdiktion erlaubt

Die Analogie von Herkunftsschutz und Qualitätsstandards

• Herkunftsgeschützte Lebensmittel wie das französische „Brie de Meaux“ verlangen traditionelle Herstellungsverfahren, hochwertige Rohstoffe und eine bestimmte geografische Herkunft
• Würde man die Produktion im Ausland zulassen, führte das zwangsläufig zu einer Flut billiger Imitate, die die echte Marke beschädigt und seltene lokale Expertise bedroht, die über Generationen weitergegeben wurde
• Das Urteil einzelner Verbraucher allein kann kein ordentlich funktionierendes Marktgeschehen garantieren; welche Produkte überhaupt im Regal stehen, wird bereits von Faktoren bestimmt, die außerhalb der Kontrolle der Kunden liegen
• Die Qualität von handwerklich hergestelltem Käse steht für eine gesamte Lieferkette, die mit modernen Methoden betrieben wird; sie anderswo zu reproduzieren erfordert enorme Investitionen in Humankapital, Infrastruktur und Landwirtschaft
• Jede Gesellschaft muss irgendwo eine Linie ziehen zwischen „traditionellem handwerklichem Käse“ und „gefälschten Eiern aus Industriechemikalien“; nur Gesellschaften, die den Wert von Lebensmittelhandwerk verstehen und erhalten, können Adipositasraten von über 70 % vermeiden (Fall Nauru)

Schäden durch AI Slop in Open Source und im Alltags-Coding

• Open-Source-Maintainer spüren die Nebenwirkungen zuerst — schon zuvor war es sehr schwierig, motivierte Beitragende zu finden und an Ziele und Engineering-Denkweise eines Projekts heranzuführen
• Nun tauchen Beitragende auf, die slop-codierte PRs einreichen, um ihren GitHub-Lebenslauf aufzuhübschen
  • tldraw hat öffentliche Beiträge geschlossen, das curl-Projekt hat Bug Bounties eingestellt, andere Projekte reagieren mit Spott über gefälschte Beitragende
• Ein ähnlicher Effekt zeigt sich im Arbeitsalltag mit vibe-codenden Kollegen — es sieht so aus, als würden neue Mitarbeitende sich schnell einarbeiten, tatsächlich lagern sie den anfänglichen Lernprozess an Bots aus
• Im Jahr 2026 gilt: Wenn ein neuer Mitarbeiter einen PR mit extrem ausführlichen Erklärungen und Kommentaren einreicht, muss man jedes Wort anzweifeln

Senior Engineers und die Illusion von 10x-/100x-Produktivität

• Erfahrene Veteranen, die mit KI angeblich zehn- oder hundertmal mehr Code produzieren als früher, verstehen noch immer nicht, dass jede Codezeile, die ausgeführt wird und von der man abhängt, eine Haftung (liability) ist
• Die Aussage „AI Coding ist großartig, weil alles, was der Agent braucht, in der Codebasis beschrieben ist“ ist fatal falsch — wäre das wahr, gäbe es die eigentliche Coding-Arbeit gar nicht mehr
• Der entscheidende Unterschied ist, ob ein Engineer den Großteil seiner Karriere damit verbracht hat, Probleme zu lösen, die andere Software erzeugt hat, oder Probleme, die Menschen schon hatten, bevor es Software gab
  • Nur Letzteres lehrt, über reale Randbedingungen des Problems und Nutzerbedürfnisse nachzudenken
• Wer Software als Selbstzweck betrachtet, baut aus etwas, das auf einem 10-$-pro-Monat-VPS laufen könnte, eine überengineerte Cloud-Infrastruktur

Merkmale von Slop-Code und die Reaktion der Branche

• Engineers mit handwerklichem Anspruch erkennen Slop im Review leicht — etwa an übermäßig repetitivem Code, unnötiger Komplexität und verweigertem Refactoring
• Es gibt beobachtbare Fälle, in denen selbst Seniors trotz jahrelanger Erfahrung beim Vibe Coding peinliche Fehler machen und unverändert weiterreichen
• Der Vorfall im Co-pilot Discord von Microsoft, in dem das Schimpfwort „Microslop“ verboten wurde — eine Erscheinung, bei der Nutzerprotest als „Spam“ oder „schädlich“ geframt wird und Versprechen wichtiger behandelt werden als reale Ergebnisse
• Diese Tools werden zwar als „süchtig machend“ oder als „der beste Freund, den man haben kann“ bezeichnet, doch eine damit einhergehende kambrische Explosion an Kreativität und Leistung bleibt aus

Strukturelle Probleme der Softwareindustrie und die Rolle von KI

• Was KI vor allem erzeugt, ist Glue Code, der nötig wurde, seit Softwareanwendungen nach der PC-Revolution geschlossener, verteilter und unternehmenshafter geworden sind
• HTTP-APIs bieten keine echte Offenheit, wenn sie schlecht dokumentierte JSON-Blobs verlangen, deren Schema sich jede Nacht ändert
• Viele Unternehmen werden nach wie vor primär mit Excel betrieben, und ein Äquivalent von JSON zu Excel existiert nicht
• SQL sollte Unternehmen aus der Abhängigkeit von proprietären Tools befreien, scheiterte jedoch; die Geschichte wiederholt sich
• Wenn vibe-codierte Electron-Apps weiterhin gegenüber nativen Multiplattform-Apps bevorzugt werden, stellt sich die Frage, wo diese hundertfache Produktivität eigentlich zu sehen ist
• Wenn selbst Apple in aktuellen Betriebssystemen kein ordentliches Formular- und Icon-System aufrechterhalten kann, sind die Aussichten für mit Web-Slop trainierte KI noch geringer

Der wirksame Widerstand der Spieleindustrie

• Während Softwareingenieure ohne Schwimmweste hineingesprungen sind, leistet die Spieleindustrie unter Führung der Verbraucher wirksam Widerstand
• Zahlreiche Spiele haben sich für nicht gekennzeichnete KI-Inhalte entschuldigt und sie entfernt
• Steam hat klare Richtlinien für KI-Inhalte, und SteamDB bietet Tools zum Filtern KI-generierter Spiele
  • Die Steam-Richtlinie wurde kürzlich aktualisiert: Ausgenommen sind Anwendungen zur „Effizienzsteigerung“ von Entwicklungstools, die keine Inhalte erzeugen, die Spielern angezeigt werden
• Es gibt zwei Gründe, warum der Spielemarkt wirksam Widerstand leistet:
  • ein reiner D2C-Markt (Direct-to-Consumer) der digitalen Distribution — Gamer haben die gesamte Auswahlmacht, und die Geschmacksmacher, die Transparenz fordern, sind die Gamer selbst
  • die meisten Spiele sind künstlerisch und werden wegen einer bestimmten ästhetischen Anziehungskraft gekauft — in der Kunst gilt Nachahmung als Entwertung des Originals und Diebstahl von Anerkennung

Der Kontrast zwischen Code-Wiederverwendung und künstlerischer Originalität

• Code leidet im Allgemeinen nicht unter Wiederverwendung oder kann im Fall von Infrastruktur sogar davon profitieren
• Deshalb sind Open-Source-Projekte besonders ungeeignet, talentierte künstlerisch-kreative Menschen anzuziehen — der Geist des kostenfreien Teilens bedeutet, dass künstlerisches Design sofort und ohne ursprünglichen Kontext angeeignet wird
• Klassische prozedurale Generierung (procedural generation) ist als Präzedenzfall bemerkenswert und blieb überwiegend hinter den Erwartungen zurück
  • Das Beispiel No Man's Sky (Version 2016) — das Versprechen, aus begrenzten Quellen exponentiell mehr Inhalte zu erzeugen, entwertet die Vielfalt des eigenen Outputs

Generative KI, Piratenbibliotheken und rechtliche Unschärfe

• Dass Künstler generative KI als Massenplagiat anprangern, ist naheliegend; ebenso naheliegend ist, dass Tech-Unternehmer und Datenkuratoren das nicht verstehen und Modelle mit piratischen Shadow Libraries trainieren
  • Nvidia wird beschuldigt, einen Deal über schnellen Zugriff auf Anna's Archives riesige Sammlung piratischer Bücher angestrebt zu haben
• Dass die Outputs banal, grob und fragwürdig sind, hat einen klaren Grund — die verschiedenen Trainingsbeispiele der Lernquellen sind selbst oft nur Slop für Maschinen
• Das erzeugt eine plausible deniability, bei der nicht mehr unterscheidbar ist, was Zitat, Halluzination oder originell ist
• KI-Inhalte mit einem „AI-generated“-Label oder Wasserzeichen zu versehen, dient meist nur der Haftungsabwehr und ist keine wirklich verantwortungsvolle Offenlegung
• Damit Vibe Coding akzeptabel und rechtfertigbar wäre, müsste man paradoxerweise annehmen, dass der eigene Output eines Engineers wegwerfbar, unkreativ und keine Anerkennung wert ist

Quellenzuordnung (Source Attribution) als Lösung

• Kein Gericht hätte jemals über die generelle Rechtmäßigkeit oder Urheberrechtsfähigkeit von KI-Outputs insgesamt entscheiden dürfen; Outputs ohne Quelle sollten als Fälschungen behandelt werden
• Die Lösung des LLM-Problems ist klar, aber unerreichbar: LLMs müssten zusammen mit ihrem Schlussfolgern korrekte Quellenzuordnung leisten
  • Das würde nicht nur den künstlerischen Aspekt betreffen, sondern auch offenlegen, dass ein erheblicher Teil von Vibe Code schlicht aus bestehenden Codebasen kopiert/eingefügt ist — ohne ursprüngliche Autoren, Lizenzen oder Links
• In heutigen Modellen ist echte Attribution technisch unmöglich — die Fähigkeit von LLMs, Quellen überhaupt zu erwähnen und zu zitieren, ist selbst eine emergente Eigenschaft (emergent property) der gesammelten Daten
  • LLMs können Quellen nur dann zitieren, wenn es zur aktuellen Position im Text passt; das ist oft nur ein Zitier-Rollenspiel (citation role-play), bei dem Dinge gut zitiert werden, die ohnehin häufig korrekt zitiert werden
• Die Implikationen einer Attributionspflicht wären enorm: Wenn Gewichte zuordenbar und Vorwärtsdurchläufe auditierbar sein müssten, wie sähe dann Backpropagation aus? In int4 ließe sich das nicht unterbringen
• Genau dieses Problem versuchen „AI-Detektoren“ rückwärts zu lösen
• Es ist paradox, dass die nächste Technologiegeneration nach dem World Wide Web und Suchmaschinen im Maßstab von Google eine Technologie sein soll, die die Quelle von Informationen systembedingt nicht offenlegen kann
• Wenn Maschinen aufhören sollen zu lügen, müssen sie ihre Quellen korrekt zitieren — und KI-Unternehmen ebenfalls

[hungryman]

Was ist das, mir geht langsam der Wortschatz aus.
Ich sitze hier und schlage „emergent“, „slop“, „Quellenattribution“, „Framing-Effekt“ und „kambrische Explosion“ nach.

[GN⁺]

Hacker-News-Kommentare

• Der Videospielmarkt scheint ein seltener Fall zu sein, in dem Verbraucher gegen AI aufbegehren, tatsächlich richtete sich der Widerstand aber nur gegen AI-Art-Assets
  Ob Code mit AI geschrieben wird oder nicht, interessiert niemanden. Die AI-Umfrage von Steam zeigt, dass Codegenerierung bereits erlaubt ist
  Letztlich ist die Verbreitung von LLM-Coding unvermeidlich. Dasselbe gilt für prozedurale Generierung: Es hängt weniger am Tool als an den Fähigkeiten der Person, die es nutzt

  • Zu behaupten, prozedurale Generierung sei gescheitert, ist eine uninformierte Sichtweise. Von Klassikern wie Elite und Powermonger bis zu neueren Roguelike-Spielen gibt es viele erfolgreiche Beispiele
  • Es stimmt zwar, dass LLMs repetitiven Code reduzieren, aber das ist keine Wiederverwendung von Code. Das war schon vorher mit Bibliotheken lösbar
  • Als ich sah, wie ein befreundeter Künstler AI kritisiert, aber für Marketingtexte trotzdem AI nutzt, fiel mir diese widersprüchliche Haltung auf
  • Die Steam-Umfrage sagt zwar, dass auch Codegenerierung darunter fällt, aber letztlich ist das kaum etwas anderes, als Bibliotheken zu verwenden
  • Open-World-Spiele haben an Reiz verloren, weil die Frische verschwunden ist. Auch die Behauptung, LLMs würden Zeit sparen, ist schwach begründet. Unmittelbare Ergebnisse garantieren keinen langfristigen Nutzen

• Die LLM-Debatte wirkt ermüdend. Diese Technologie wird eher dazu genutzt, Menschen zu kontrollieren statt sie zu stärken, Entlassungen zu erleichtern und Reichtum noch stärker zu konzentrieren
  Es ist, als würden Schweine über den Nutzen einer Speckmaschine diskutieren

  • AI, die für 20 Dollar im Monat für alle verfügbar ist, ist ein ausreichend allgemeines Werkzeug. Sie senkt eher die Hürden. Das wirkt wie Widerstand von Menschen, die Angst vor Veränderung haben
  • Solche Argumente werden seit der industriellen Revolution bei jeder Automatisierungstechnologie wiederholt
  • AI könnte uns auch von kommerzieller Abhängigkeit befreien. Vielleicht werden wir dadurch selbst Betriebssysteme oder Apps bauen können
  • Wir sollten vollständige Automatisierung und ein garantiertes Grundeinkommen fordern. Nicht AGI ist die eigentliche Gefahr, sondern der Mensch
  • Wenn die Mehrheit ihre Arbeitsplätze verliert, bricht der Markt selbst zusammen. Aber Unternehmen werden wegen des Wettbewerbs am Ende doch neue Arbeitsplätze schaffen

• Die Ludditenbewegung war nicht einfach nur technikfeindlich. Sie sorgte sich um Qualitätsverlust, und damit lag sie tatsächlich richtig
  Handgefertigte Wollschals aus dem mittelalterlichen Europa waren völlig anders als moderne Fabrikprodukte. Technischer Fortschritt ist nicht immer ein 1:1-Ersatz
  Auch heute sieht man, dass intern gebaute Tools von Nicht-Technikern Hunderte Stunden einsparen können; selbst wenn sie nicht perfekt sind, reicht es, wenn sie wirksam sind

  • Japan ist zwar eine industrialisierte Gesellschaft, respektiert aber weiterhin handwerkliche Traditionen
  • In 800 Jahren wird in Museen wohl nur wirklich guter Code übrig sein. Es gibt hier einen Survivorship Bias, der die Vergangenheit verklärt
  • Empfehlenswert ist Jonathan Blows Vortrag Preventing the Collapse of Civilization
  • Softwareingenieure als Ludditen zu bezeichnen, ist falsch. Der Großteil der Ingenieursarbeit ist tatsächlich eher handwerklich: repetitiv und erfahrungsbasiert
  • Zurück in die Vorindustrialisierung zu wollen, ist nur aristokratische Nostalgie. Eher eröffnet LLM den Massen den Zugang zu maßgeschneiderter Software

• Die Realität, die LLMs offengelegt haben, ist, dass der Großteil der Programmierung aus Boilerplate-Code besteht
  Der eigentliche Wert liegt in kleinen Innovationen auf höherer Ebene

  • Wenn Entwicklungsgeschwindigkeit wirklich wichtig wäre, hätte sich zuerst die Organisationsstruktur ändern müssen. In der Realität ist ineffiziente Bürokratie das Problem
  • Bibliotheken und Abstraktionen führen eher zu aufgeblähtem Code. Da LLMs genau solchen Code gelernt haben, fällt es ihnen schwer, sauberen Code zu erzeugen
  • Auch in repetitivem Code kann Handwerkskunst stecken. Ein solides Fundament zu legen, ist ebenfalls wertvoll
  • Früher teilte man das Programmieren in die Schritte „entscheiden, was zu tun ist – schreiben – debuggen“ ein, aber heute wirkt das anachronistisch
  • Auch Bücher sind letztlich nur einfache Abhandlungen, gefüllt mit Hunderten Seiten Boilerplate

• Der ideale Einsatz von LLMs ist die Rolle eines Lehrers. Sie sollten eher als Werkzeug dienen, um Konzepte schnell zu vermitteln, statt direkt Code zu liefern

  • Genau jetzt ist der richtige Zeitpunkt dafür. Man muss im Prompt nur explizit angeben: „Schreibe keinen Code, sondern sei ein guter Lehrer“
  • Aber von einem Lehrer zu lernen, dem man nicht vertrauen kann, ist eine beunruhigende Erfahrung. Langsameres, aber verlässlicheres Lernen ist wohl besser

• Wie handwerklich hergestellter Käse oder Schinken könnte es in Zukunft vielleicht auch Artisanal Coding geben

  • Das „Handmade Network“ lebt diese Philosophie bereits. LLMs sind nur der Endpunkt der industrialisierten Softwareentwicklung
    Sie sind im Grunde Maschinen geworden, die Spezifikationen statt Menschen in Code übersetzen
  • Fälle wie Steve Gibson, der Assembler direkt von Hand schrieb, kommen dem am nächsten. Das war aber nie ein Mainstream-Trend
  • Argumente zum Schutz von Traditionen wie geografische Herkunftsbezeichnungen sind meist schwach begründet

• Die nüchterne Realität ist, dass sich niemand für unseren Code an sich interessiert
  Die meisten achten nur darauf, ob etwas funktioniert, wie schnell es ist und was es kostet. Letztlich sind wir eher Fabrikarbeiter
  Das ähnelt dem Verlustgefühl, das ein Uhrmacher beim Anblick einer automatischen Drehbank empfunden haben muss

  • Man kümmert sich nicht um Qualität und ist erst dann überrascht, wenn Systeme unter technischen Schulden zusammenbrechen
  • Bei Enterprise-Software reicht oft „funktioniert halt“, aber bei Consumer-Produkten sind Qualität und Ausgereiftheit wichtig
  • Ich halte Code für Schulden. Freude empfinde ich, wenn ich ihn entschlossen wegwerfen kann, sobald er nicht mehr gebraucht wird
  • Programmieren ist weder kreativ noch sexy. Die Welt fragt nur: „Funktioniert es gut, ist es schnell, ist es billig und kommt es vor der Konkurrenz auf den Markt?“
    Am Ende bricht die romantische Erzählung vom „kreativen Beruf“, die wir gepflegt haben, in sich zusammen

• All diese Diskussionen wirken letztlich wie ein Problem der menschlichen Natur, das sich wie das Meme TTP(Time To Penis) immer wiederholt

• Dieser Beitrag zeigt wirklich eine realistische und ausgewogene Perspektive

[parkindani]

Sowohl der Artikel als auch die Kommentare sind erstaunlich negativ. Haben denn wirklich alle noch nie Claude Code ausprobiert..