Ich habe Angst vor „Slop“ – den schlampigen Ergebnissen, die KI erzeugt

• Ausdruck der Angst vor der Möglichkeit, dass die künstliche Intelligenz auf ihrem heutigen Niveau stehen bleibt und Menschen aufhören, nach besserer Qualität zu streben
• Die heutige KI erstellt schnell zu 90 % fertige Ergebnisse, doch es besteht die Gefahr, dass die Kultur verschwindet, sich um die verbleibenden 10 % Perfektion zu bemühen
• Sorge über das Phänomen, dass „gut genug“ Produkte einfach veröffentlicht und von Verbraucherinnen und Verbrauchern unkritisch akzeptiert werden
• KI-Tools erzeugen massenhaft uniforme Ergebnisse, wodurch es immer schwieriger wird, originelle Software mit handwerklichem Anspruch zu entwickeln
• Mehr als der technische Fortschritt ist der Niedergang von Qualität und Kreativität das größere Problem; wenn Entwickler und Nutzer gleichermaßen gleichgültig werden, könnte die Software-Handwerkskunst verschwinden

---

Die Grenzen der KI-Entwicklung und die Gefahr von „gut genug“

• Wenn KI auf ihrem jetzigen Stand stehen bleibt, wird es Modelle geben, die einen Webbrowser oder Compiler fast fertigstellen können, aber nie perfekt sind
  • Als Beispiel wird die Unvollkommenheit autonom fahrender Autos genannt, die in den meisten Situationen funktionieren, aber in entscheidenden Momenten versagen
• Wenn solche zu 90 % fertigen Ergebnisse weiter massenhaft produziert werden, entsteht die Befürchtung, dass wir in einer Gesellschaft landen, die die restlichen 10 % Vollendung nicht mehr anstrebt
• Der Kern des Problems liegt weniger in der KI selbst als in der menschlichen Haltung, etwas als „gut genug“ zu betrachten

„Slop“ und der Verfall der Softwarequalität

• Der Autor sorgt sich darüber, dass von KI erzeugter Slop (schlampige Ergebnisse) zum Alltag wird
  • Es wird kritisiert, dass von KI erzeugte Apps oder Inhalte nur noch daran gemessen werden, ob sie „releasefähig“ sind, während echtes Lernen und Verständnis für Qualität fehlen
• Selbst wenn KI-Agenten Apps schreiben, sieht der Autor es als Problem, wenn diejenigen, die sie verwalten, die Qualität der Ergebnisse nicht verstehen und sie dennoch veröffentlichen
• Diese Entwicklung führe zu einer „Dropshipping“-Logik in der Software, die noch minderwertigere Resultate hervorbringe als massenproduzierte Ware auf IKEA-Niveau

Vereinheitlichung durch KI-Tools und Verlust von Kreativität

• KI-Modelle wie Claude können zwar beim Erlernen neuer Technologien helfen, am Ende läuft es aber auf durchschnittliche Apps im Stil von „Next-React-Tailwind“ hinaus
• Selbst wenn man mit KI-Tools versucht, originelle Apps zu bauen, etwa wie Paper by FiftyThree, endet das Ergebnis in einer gewöhnlichen und uninspirierten Form
• KI kann kreative Arbeit abseits vorgegebener Pfade nur schlecht leisten, was zu einer Grenze für kreative Softwareentwicklung wird

Ein menschengemachtes Problem und die Struktur der Industrie

• „Slop“ ist laut Autor kein neues Phänomen, sondern ein Problem, das bereits aus menschlichen Fehlentscheidungen und Anreizstrukturen entstanden ist
  • Unbequeme Stühle, durch SEO vermüllte Suchergebnisse und miserable UIs seien alles Folgen menschlicher Entscheidungen
• In einer Kultur des „Move fast and break things“ verschwinden Apps mit handwerklichem Anspruch, weil Großunternehmen sie kostenlos kopieren und den Markt zerstören
• KI-Agenten können diesen Prozess noch schneller wiederholen, wodurch das zyklische Verschwinden guter Software beschleunigt wird

Gleichgültigkeit bei Nutzern und Entwicklern

• Es gibt auch die Erwartung, dass KI-Tools die Kluft zwischen Nutzern und Entwicklern verringern könnten
  • Als Beispiele werden komplexe Excel-Tabellen erwähnt, die von Buchhaltungsmitarbeitern gebaut wurden, oder Nutzer auf TikTok, die Automatisierungen umsetzen
• Doch es wird angedeutet, dass solche kreativen Nutzerinnen und Nutzer Ausnahmen sein könnten und die meisten Menschen technischen Problemen, Privatsphäre oder Qualität gegenüber gleichgültig bleiben
• Wenn wir letztlich zu einer Gesellschaft werden, die mit einem „gut genug“-Niveau zufrieden ist, könnten Handwerkskunst und eine kreative Entwicklungskultur verschwinden
• Der Text endet mit der düsteren Erkenntnis: „Wenn unsere technische Handwerkskunst stirbt, wird niemand darum trauern.“

[GN⁺]

Hacker-News-Meinungen

• Es ist bedauerlich, dass Menschen die Welt mit der weiten Verbreitung generativer AI-Produkte nicht mehr im historischen Kontext betrachten
  Die Auswirkungen von AI auf die Welt ähneln früheren technologischen Umbrüchen, und die Art, wie die Welt funktioniert, ändert sich nicht grundlegend
  Die meisten Produkte und Services haben ihre Funktion auf einem „gut genug“-Niveau gehalten und dabei Qualität geopfert
  Wie bei Wanderschuhen, die nur 20 Meilen halten müssen und daher nicht unbedingt langlebig sein müssen, gilt dasselbe auch für Software
  Die meisten Nutzer interessieren sich nicht für Sicherheit, Privatsphäre, Wartbarkeit oder Robustheit
  Diese Realität ist nicht neu und wird auch in Zukunft so bleiben

  • Die meisten Nutzer kümmern sich erst darum, wenn sie die Probleme selbst erleben
    Erst bei großen Datenlecks oder globalen Ausfällen werden sie wütend
    Genau das sind die versteckten Anforderungen (hidden requirements)
    Wenn sich Anforderungen ändern, stößt Software an ihre Grenzen, so wie man mit Schuhen für 20 Meilen keine 35 Meilen gehen kann
  • Es wirkt, als gäbe es eine falsche Dichotomie zwischen Qualität und Kosten
    Es gibt billige und langlebige Produkte, und ebenso viele teure, aber miserable Projekte
    Daher stellt sich die Frage, warum man nicht von Anfang an günstig und zugleich hochwertig bauen kann
  • Unternehmen, die hochwertige Produkte in kleiner Stückzahl herstellen, gehen meist pleite
    Denn die Menschen wollen keine Investitionsausgaben (CapEx)
    Kaum jemand möchte ein Auto kaufen, das teurer als ein Haus ist, oder Schuhe für 2.000 Dollar
  • Das Wesen des Kapitalismus, Mindestanforderungen so billig und schnell wie möglich zu erfüllen, schafft am Ende einen hohen Lebensstandard
    Zum Beispiel popularisierte Fords Model T das Auto, indem es die Herstellungskosten senkte
  • Das historische Muster universeller Technologien wie Buchdruck, Industrialisierung, Automobil und Internet war ähnlich
    Die Qualität sank, aber die Zugänglichkeit nahm explosionsartig zu, und schließlich entstand ein neues Gleichgewicht
    Hohe Qualität bleibt nur in Nischen erhalten, in denen sie wirtschaftlich zu rechtfertigen ist

• Es besteht Angst davor, wie sich die Zivilisation verändern wird
  Die Reichen werden noch reicher, und viele Menschen werden wohl ihre Arbeit und ihre Hoffnung verlieren
  Eine Gesellschaft ohne Einkommen ist nicht tragfähig und birgt ein hohes Risiko von Gewalt
  Es scheint kaum Mächtige zu geben, die das verhindern können

  • Auf die Frage „Wer könnte das stoppen?“ lautet die Antwort: niemand
    Als weiterführende Referenzen werden Douglas Rushkoffs Survival of the Richest und ein YouTube-Video genannt
  • Ein Video über Reinhold Niebuhr wird empfohlen
    Manches wird schlechter, manches besser, und es ist schwer, das pauschal als Nettoverlust oder Nettogewinn zu bewerten
    Jede Epoche hat ihre eigenen Probleme, die gelöst werden müssen
  • Der Aufstieg des Populismus wird als Form des Wandels ohne Gewalt gesehen, als Versuch, die bestehende Ordnung zu verändern
  • Mächtige handeln nicht aus Ethik oder Einsicht, sondern wenn die Kosten des Nichtstuns höher werden
  • Um Gewalt zu vermeiden, scheint ein Wettlauf um die Entwicklung fortgeschrittener Roboter stattzufinden

• Es gibt grundlegende Sorgen über LLM-basierte Systeme
  Dieses Problembewusstsein existierte jedoch schon vor LLMs
  Ähnlich wie beim früheren Offshoring produzieren heute GPU-Farmen statt Menschen Code
  Der Unterschied ist nur, dass private Investitionen die Kosten diesmal fast auf null gedrückt haben
  Den Preis dafür wird man letztlich irgendwann zahlen

  • Früher floss Geld in Niedriglohnländer und unterstützte dort das Wachstum,
    jetzt konzentriert sich das Geld in den reichsten Ländern
  • Die Kosten von AI-Offshoring sind nicht null
    Dienste wie ChatGPT verlangen Abogebühren und werden sich letztlich auf das Preisniveau indischer Outsourcing-Angebote einpendeln
  • Der Ausdruck „billiger Spaghetti-Code“ ist unangemessen, weil er rassistische Vorurteile enthält
    Codequalität ist keine Frage von Ethnie, sondern von Investition und Management

• Generative AI steht in der Verlängerung der Industrialisierung
  Die Struktur ist darauf ausgelegt, Produkte so schnell und billig wie möglich zu erzeugen
  „Gut genug“ ist zum Standard geworden, und dadurch hört die Anhäufung von Qualitätsverlust nicht mehr auf
  Das System ist so groß, dass es schwer ist, die Richtung zu ändern

• In der Startup-Welt wird meist Geschwindigkeit statt Handwerkskunst priorisiert
  Slogans wie „Move fast and break things“ sind alltäglich geworden
  Tatsächlich haben sich die meisten schon früher nicht für die letzten 10 % Qualität interessiert

  • Schon vor LLMs ist die Softwarequalität stetig gesunken
    Im Gegenteil könnten LLMs die Geschwindigkeit bei Fehlerbehebungen erhöhen
    Probleme, die früher mit „Die Nutzungsstatistiken zeigen, dass es niemanden interessiert“ liegen blieben, könnten nun schneller behoben werden
    • Jede erfolgreiche Software findet einen Gleichgewichtspunkt zwischen Bugs und Nutzen
      0 % Bugs sind fast unmöglich, und Nutzer akzeptieren für benötigte Funktionen gewisse Fehler
      LLMs verändern dieses Gleichgewicht nicht, könnten Wettbewerbern aber die Chance geben, Nischenzielgruppen anzugreifen
    • LLMs sind nicht die eigentliche Ursache, sondern beschleunigen ein bereits schiefes System noch ein wenig mehr
    • Wenn sehr kleine Teams große Apps veröffentlichen können, könnte das sogar zu besserer Qualität führen

• Auf die Aussage „Ich fürchte, dass die Kunst des Handwerks stirbt“ lautet die Antwort,
  dass sie nicht stirbt, solange es noch Menschen gibt, die diese Fähigkeiten lieben

• LLMs wirken wie eine Umsetzung des Pareto-Prinzips
  Wenn man mit 1 % des Zeitaufwands 80 % des Ergebnisses bekommt, kümmert sich niemand mehr um die restlichen 20 %
  Das legt die Schwäche einer Kultur offen, die Konsum statt Qualität maximiert
  Ähnliche Phänomene gab es schon mit Content-Farmen, und nun sieht man ihren Endpunkt in der Verschwendung von Rechenzentren

  • Aus dieser Perspektive wirkt die Expansion von Rechenzentren wie eine Verschwendung von Ressourcen im planetaren Maßstab
    Sie beschleunigt eine Kultur, die sogar die Bedeutung von Qualität verloren hat
  • „Qualität ist wichtig“
    Eine Denkweise, die das verneint, wird sich am Ende selbst zugrunde richten
    Allerdings sind Menschen irrational, daher ist unklar, wann dieses „am Ende“ eintritt

• Die USA sind gegenüber „gut genug“ toleranter
  Japan bringt solche Produkte gar nicht erst auf den Markt
  Zum Beispiel zeigt Nintendos 3D-Mario-Reihe einen Grad an Vollendung, den sich ein US-Studio kaum vorstellen könnte
  Apple ist eine Ausnahme mit seinem Qualitätsfokus, während Microsoft der Ruf anhängt, „keinen Geschmack“ zu haben

• Im Arbeitsalltag gibt es großen Unmut über Entwickler, die LLMs übermäßig nutzen
  Wer LLM-generierten Code reviewen oder warten muss, hat wegen der unmenschlichen Codestruktur ein Vielfaches an Arbeit
  Man hält das fälschlich für „effizient“, verschwendet aber in Wirklichkeit die Zeit anderer Menschen
  Es besteht der Wunsch, dass diese Situation endet

• Falls der Text von jemandem stammt, der eine japanische Domain nutzt, ist das interessant
  Japaner haben eine hohe Geduld in Bezug auf Qualität, während Amerikaner eher mit „gut genug“ zufrieden sind
  Dass teure Produkte wie die von Grado trotz Heißklebepistolen-Montage verkauft werden, ist ein Beispiel dafür