LLM-Kritiker haben recht. Trotzdem nutze ich LLMs

 (theocharis.dev)
1 Punkte von GN⁺ 5 시간 전 | 1 Kommentare | Auf WhatsApp teilen
  • Trotz anerkannter Probleme bei Urheberrecht, Umwelt und Ethik sowie minderwertiger Outputs, eines Vertrauensverlusts in Open Source, schwächerer Förderung von Juniors und geopolitischer Abhängigkeit werden LLMs weiterhin als Werkzeug zur Verbesserung der Denkqualität genutzt
  • LLMs verstärken bestehende Gedanken, Meinungen und Strukturen; ohne menschliches Urteilsvermögen produzieren sie massenhaft wortgewandten Müll, mit ausreichend Nachdenken und Verantwortung helfen sie jedoch dabei, weniger, aber bessere Ergebnisse zu erzeugen
  • Von außen ist schwer festzustellen, ob sich ein Mensch wirklich Gedanken gemacht hat; der Wert eines Ergebnisses hängt daher letztlich von Vertrauen und Reputation ab, und ob man es öffentlich ohne einen einzigen peinlichen Buchstaben vorlesen könnte, wird zum Kriterium, das AI slop von guter Arbeit trennt
  • Mit /grill-me, Basecamps Pitch, Unteragenten speziell für Kritik, dem Ralph-Wiggum-Loop und der Methode, erst einmal erwartete APIs oder UX halluzinieren zu lassen, wird die Gefälligkeit und Halluzinationsneigung von LLMs bewusst gegen sie selbst eingesetzt
  • Die Fachkenntnis der Nutzer ist unverzichtbar, um gute von schlechten Ergebnissen zu unterscheiden; wer LLMs in Bereichen einsetzt, in denen sich richtige Antworten schwer überprüfen lassen, ohne Expertenwissen und menschliches Urteilsvermögen, produziert am Ende Slop im großen Maßstab

Ein Umfeld, in dem Kritik und Nutzung nebeneinander existieren

  • Auf der Local-First Conf in Berlin gab es großen Applaus für Vorträge, die LLMs kritisierten, während zugleich viele im Publikum Claude Code geöffnet hatten
  • Armin Ronacher, der Flask entwickelt und zum frühen Team von Sentry gehört hat, gründete Earendil und entwickelt mit Pi.dev ein Open-Source-Harness für Coding-Agenten
    • Nach dem Vortrag Reflections on Building Cloud and Local Hybrid Mac wurde er nach der Flut von LLM-generierten PRs bei Pi.dev gefragt und antwortete, dass fast alle PRs und Issues automatisch geschlossen werden
    • Er ergänzte jedoch, dass man das Erstellen von PRs nicht aufgeben dürfe und sich am Ende die Individualität von Menschen doch zeige
    • Auf der Purpose-Seite von Earendil heißt es, dass Menschen die besten Agenten seien, selbst in einer Welt, die auf AI zustürmt
  • Auch in Gesprächen mit Konferenzteilnehmern wiederholte sich immer wieder dieser Widerspruch, LLMs zu kritisieren und gleichzeitig zu nutzen; es war also keine rein persönliche Erfahrung

Warum die LLM-Kritik berechtigt ist

  • Mit LLMs sind urheberrechtlich geschützte Materialien, Umweltbelastung und ethische Probleme verknüpft
  • Das System, in dem Geld vor allem um NVIDIA und OpenAI zirkuliert, ist auf Dauer schwer tragfähig; die aktuelle Blase dürfte irgendwann platzen
  • Die häufigste Kritik, dass „LLMs viel Slop erzeugen“, entspricht der Realität

  • Erosion des Vertrauens in Open Source

    • Open-Source-Repositories beginnen, entweder sämtliche Beiträge abzulehnen oder Mechanismen einzuführen, um LLM-generierte Einreichungen herauszufiltern
    • Vor LLMs bedeuteten sauber geschriebene PRs und Beschreibungen an sich schon mindestens einige Stunden menschlicher Arbeit; Maintainer konnten daher annehmen, dass auch in neue Beiträge ein gewisses Maß an Zeit und Aufmerksamkeit geflossen war, und sie entsprechend prüfen
    • Trolle oder minderwertige Einreichungen ließen sich zudem oft innerhalb weniger Sekunden relativ leicht erkennen
    • Heute kann jeder ein neues GitHub-Konto erstellen und ein LLM loslaufen lassen, sodass sich schwer unterscheiden lässt, ob ein PR viele Stunden Arbeit gekostet hat oder eine von einer OpenClaw-Maschine autonom erzeugte Einreichung ist
    • Zig und Gentoo lehnen zwar LLM-generierte PRs ab, doch in der Praxis bleibt die Grenze, dass sich echte Autorschaft nur schwer feststellen lässt
    • Wenn es nicht gelingt, Vertrauen wiederherzustellen, könnten LLMs Open Source ernsthaft beschädigen
    • Eine mögliche Gegenmaßnahme wäre, Beiträge nur noch von wenigen verifizierten Personen zuzulassen und etwa die Teilnahme an realen Treffen als Nachweis zu verlangen

  • Schwächere Entwicklung von Junior Engineers

    • Es wird schwieriger, dem Aufwand zu vertrauen, den Juniors in Code gesteckt haben
    • Seniors können nicht erkennen, ob schlechter Code in zehn Minuten per Vibe Coding entstanden ist oder ob jemand mehrere Stunden darüber nachgedacht hat, aber noch nicht die nötige Einsicht hatte
    • Auch vor LLMs schrieben Juniors schlechten Code, den Seniors prüften und verbesserten, doch heute ist der Aufwand und der Lernprozess nicht mehr sichtbar
    • Diese Unsicherheit verringert die Motivation von Seniors, Juniors anzuleiten
    • Früher gab es ein Gleichgewicht, in dem Juniors einfache Aufgaben übernahmen und gemeinsam mit Seniors daran wuchsen
    • Wenn sich einfache Aufgaben vollständig an LLMs delegieren lassen, sinkt auch der Anreiz für Unternehmen, Juniors überhaupt einzustellen

  • Geopolitische Abhängigkeit und Konformität der Meinungen

    • Die Möglichkeit, dass die USA oder China bestimmte Regionen plötzlich von entsprechender Technologie abschneiden, lässt sich nicht ignorieren
    • Die US-Regierung zeigte mit einer Exportkontrollanordnung im Juni 2026, dass sie sowohl den Willen als auch die Fähigkeit hat, Kunden außerhalb der USA den Zugang zu den neuesten Modellen von Anthropic zu verwehren
    • Anthropic erklärte, gemäß einer Richtlinie vom 12. Juni 2026 bei allen Kunden Fable 5 und Mythos 5 plötzlich deaktiviert zu haben
    • Martin Kleppmann sagte in seinem Vortrag Local-first in an unstable world, ein Konflikt zwischen Europa und den USA sei zwar weiterhin sehr unwahrscheinlich, im Vorjahr habe die Wahrscheinlichkeit jedoch noch bei null gelegen
    • Selbst wenn man LLMs nur als Recherchewerkzeug nutzt, können Mehrheitsmeinungen aus den Trainingsdaten oder die politischen Überzeugungen der Modellersteller unauffällig in die Ergebnisse einsickern
    • Das ähnelt dem Phänomen, dass Menschen im Gespräch bestimmte Wörter oder Meinungen übernehmen, nur dass einer der Gesprächspartner hier kein Mensch ist

Die Rolle lokaler Modelle und offener Gewichte

  • LLMs komplett abzuschaffen ist schwierig; statt die Entwicklung abzulehnen, braucht es eher einen Ansatz, sie selbst zu kontrollieren und mitzugestalten
  • Modelle, die auf dem Laptop laufen, helfen Programmierern, sich aus der Abhängigkeit von Großunternehmen zu lösen
    • Lokale Modelle werden laufend besser
    • Wenn Subventionen auslaufen und Preise steigen, können Open-Weights-Modelle Preise und Einfluss großer Anbieter begrenzen
    • Modelle, die auf eigener Hardware laufen, können nicht über Nacht von einer Regierung unzugänglich gemacht werden
  • Selbst wenn das Platzen der AI-Blase Weltwirtschaft und Unternehmen schwer trifft, bleiben Open-Weights-Modelle erhalten und stehen Programmierern als Alternative zur Verfügung
  • Auch die AI-bezogenen Vorträge auf der Local-First Conf nahmen lokale Modelle ernst und ermöglichten eine Umgebung wie in Science-Fiction, in der ständig eine AI verfügbar ist, die jederzeit antwortet

Ein Werkzeug, das menschliches Denken verstärkt

  • Mehrere Vortragende sagten offen, dass sie Teile ihrer Arbeit Claude Code überlassen hatten; ihre Vorträge wurden dennoch angenommen und bekamen Applaus vom Publikum, darunter auch von Seniors und hoch angesehenen Teilnehmern
  • Der Unterschied liegt darin, dass ein Mensch mit seiner Reputation und Glaubwürdigkeit für das Ergebnis einsteht
    • Wer AI slop präsentiert, verliert Vertrauen
    • Wer Verantwortung trägt, überlässt dem LLM nicht das Denken selbst, sondern nutzt es, um die eigenen Gedanken schneller und kraftvoller umzusetzen
  • LLMs verstärken vorhandene Meinungen, Strukturen und Frameworks
    • Wer Gedanken hat, kann sie schneller und klarer ausdrücken
    • Wer keine Gedanken hat, bekommt inhaltsleere, aber sehr flüssig klingende Ergebnisse
  • Sie sind nützlich für Brainstorming, Grammatikprüfung, das Verbessern sich wiederholender Formulierungen, das Generieren von Alternativen, Rubber-Duck-Debugging und die Rolle des Advocatus Diaboli
  • Statt möglichst viele Ergebnisse zu erzeugen, wird der Ansatz gewählt, weniger Ergebnisse in höherer Qualität zu erstellen
    • Um ein paar Sätze für menschliche Leser vorzubereiten, werden sehr viele Tokens verbraucht
    • LLMs können den Denkprozess unterstützen, ihn aber nicht ersetzen

Vertrauen als Maßstab, der AI slop trennt

  • Texte sollten von Menschen für Menschen geschrieben sein, doch das steht nicht im Widerspruch dazu, LLMs beim Schreiben aller Texte einzusetzen
  • Der Unterschied zwischen AI slop und guten Texten hängt davon ab, ob dahinter menschliches Denken steht; Denken lässt sich nicht auslagern
  • Das Problem ist, dass sich von außen nicht prüfen lässt, ob ein Mensch tatsächlich gedacht hat
    • „Ich nutze AI, um besser nachzudenken“ kann sowohl von sorgfältigen Nutzern als auch von verantwortungslosen AI-Befürwortern kommen
    • Selbst verstärkter Unsinn kann wie ein geniales Ergebnis klingen, sodass am Ende nur Vertrauen bleibt
  • Vertrauen ist schwer zu gewinnen und leicht zu verlieren, und im Zeitalter der LLMs kann schon ein einzelner Gedankenstrich den gesamten Text wie AI slop wirken lassen
  • Unter den politisch interessierten Leuten rund um Local-First zeigte sich bei vielen eine stark anti-LLM geprägte Haltung; entsprechend gab es auch die Sorge, dass mit LLMs entwickelte Software in der Community abgelehnt werden könnte
    • Sogar innerhalb der Konferenz gab es Menschen, die Angst hatten, offen zu sagen, dass sie LLMs verwenden
  • Im Juni 2026 wurden rund 10.000 US-Dollar für Token-Kosten ausgegeben
    • Danach wurde Fable wegen der hohen Kosten nur noch selektiv eingesetzt
    • Für reine Codeausführung kamen günstigere Modelle wie OpenRouter und GLM 5.2 zum Einsatz
  • Ein praktisches Kriterium für Slop ist, ob man das Ergebnis vor Publikum unverändert vorlesen könnte
    • Wenn man die Bedeutung separat erklären muss, liegt es näher an Slop
    • Wenn man es ohne einen einzigen peinlichen Buchstaben direkt vorlesen kann, ist es wahrscheinlich guter Text

/grill-me: Verständnis erzwingen

  • Wenn LLMs das eigentliche Problem und die Anforderungen nicht verstehen, schreiben sie schlechte Software; mit den richtigen Fähigkeiten und Werkzeugen können sie aber durchaus brauchbare Resultate liefern
  • Das zentrale Hindernis für brauchbare Ergebnisse ist Gefälligkeit
    • LLMs geben nicht zu, dass sie etwas nicht verstanden haben, sondern versuchen sofort, irgendetwas zu tun
  • Das an Matt Pococks „grill me“-Technik angelehnte /grill-me erzwingt vor der Ausführung ein gemeinsames Verständnis
    • Es fragt hartnäckig nach allen Aspekten und geht jeden Zweig des Entscheidungsbaums der Reihe nach durch
    • Zu jeder Frage liefert es eine empfohlene Antwort mit
    • Es stellt immer nur eine Frage auf einmal und wartet auf die Antwort des Nutzers
    • Fakten, die sich im Dateisystem oder mit Werkzeugen überprüfen lassen, recherchiert es selbst
    • Entscheidungen fragt es einzeln beim Menschen ab und führt nichts aus, bevor nicht bestätigt ist, dass gemeinsames Verständnis erreicht wurde
  • Durch das Beantworten der Fragen einzeln bildet der Nutzer seine Gedanken selbst aus
  • Dasselbe Verfahren wird auch beim Schreiben angewandt: Zuerst werden Gedanken ungeordnet notiert, dann wird jeder Satz unter Kritik des LLMs nachgeschärft
  • Dieser schrittweise Ansatz mit extrem hohem Token-Einsatz selbst für einzelne Sätze verbessert die Qualität des Ergebnisses

Kurze Spezifikationen und überprüfbare Größenordnung

  • Selbst für kleine Coding-Aufgaben werden nach dem Vorbild von Basecamps Pitch drei Dinge kurz aufgeschrieben

    • Problem

    • What we are shipping

      • What we are not shipping
      • Die Problembeschreibung ist auf drei Sätze begrenzt
      • Mit einem LLM lässt sich die Form leicht ausfüllen, aber gute drei Sätze zu schreiben ist schwierig
      • Es ist ein kurzes, für Menschen entworfenes Format, das der Autor tatsächlich lesen kann und das auch andere prüfen können
      • Die meisten LLM-Outputs werden eher überflogen als gründlich gelesen, aber eine Problembeschreibung in drei Sätzen wird sehr konsequent auf Fakten geprüft
      • Wenn das Prüfvolumen zu groß wird, sinkt die Qualität
      • Bei einer Review mit 1.000 Zeilen Code landet schnell nur noch LGTM darunter
      • Bei einer Review mit 100 Zeilen lassen sich 15 Kommentare hinterlassen
      • Dasselbe Maß an Aufmerksamkeit wird auch auf PR-Beschreibungen angewandt
      • Sie bleiben gut lesbar und knapp
      • Das tatsächliche Problem, was geliefert wird und was nicht geliefert wird, wird klar festgehalten
      • Ein Screenshot der funktionierenden Oberfläche zeigt sofort, warum die Änderung prüfenswert ist und ob sie tatsächlich funktioniert
      • Claude versucht ständig, unnötige Inhalte in PR-Beschreibungen hinzuzufügen, daher muss laufend gekürzt werden; bei weniger wichtigen PRs gelingt diese Eindämmung nicht immer ausreichend

Kritik-Agenten und Halluzinationen gegen sich selbst einsetzen

  • Um den massenhaft erzeugten Inhalten von LLMs zu begegnen, werden im Coding-Workflow kleine Agenten mit einer Kritikrolle eingesetzt
  • Der Ralph Wiggum loop oder Claudes ultracode frieren Text, Plan, Spezifikation und Code ein und setzen dann wiederholt Unteragenten mit frischem Kontext darauf an, Fehler zu finden
    • Diese Unteragenten haben nur die Aufgabe, den gegebenen Kontext anzugreifen
    • Das wird so lange wiederholt, bis sie keine echten Probleme mehr finden und anfangen, Probleme zu halluzinieren
  • Wenn dieser Punkt erreicht ist, lässt sich die Schwäche von LLMs als Validierungssignal nutzen
    • LLMs neigen dazu, sich an die Erwartung des Nutzers anzupassen, dass es noch Probleme geben müsse, finden aber keine realen mehr
    • In Kombination mit /grill-me lässt sich sogar kleiner Zweifel des Menschen prüfen, was ihn unter Druck setzt, eigene Gedanken wirklich auszubilden
  • Auch Halluzinationen selbst können zur Designvalidierung dienen

Grenzen von Fachwissen und Überprüfbarkeit

  • Allen Nutzungsmustern liegt die Annahme zugrunde, dass der Nutzer die Qualität der Ergebnisse beurteilen können muss
  • Je weiter sich der Einsatz von LLMs in unbekannte Bereiche ausdehnt, desto mehr ist Hilfe von Experten nötig
    • Genauso wie man Aufgaben nur dann an Teammitglieder delegieren kann, wenn man die Grundprinzipien und die Maßstäbe für gute Ergebnisse versteht, gilt das auch für LLMs
  • In vertrauten Bereichen lassen sich gute und katastrophale Ergebnisse schnell unterscheiden
  • In unbekannten Bereichen sollten LLMs nur als Lernhilfe dienen
    • Wenn man sie Ergebnisse erzeugen lässt, ohne Qualität beurteilen zu können, endet das in großflächiger Slop-Produktion

  • Bereiche, in denen sich richtige Antworten prüfen lassen

    • In Bereichen, in denen Erfolg und Misserfolg des Ergebnisses klar sind, kann man gemeinsam mit LLMs lernen
    • Zu den Prüfmaßstäben gehören etwa, ob Code kompiliert, Test-Suites durchlaufen oder Protokolle dekodiert werden können
    • Ein Teilnehmer der Konferenz betrieb Reverse Engineering von Binärdateien und Protokollen mit Opus 4.6
    • Nötig war als Ausgangspunkt grundlegendes Wissen über Reverse Engineering
    • Ob ein gepatchtes Binary funktioniert oder ein Gerät zerstört, zeigt klar, ob das Ergebnis richtig oder falsch ist; dabei lassen sich während der Arbeit auch eigene Techniken entwickeln

  • Bereiche, in denen Meinungen hineinspielen

    • In meinungsgeprägten Bereichen wie Programmierung kann ein LLM statt der für den konkreten Fall besten Methode eher die populärste Technik vorschlagen
    • In einem Team wurde bestimmter Code als AI slop kritisiert, doch bei weiterer Diskussion stellte sich heraus, dass der eigentliche Streitpunkt Ablehnung von TDD war
    • Im Team gab es auch Menschen, die TDD schon lange vor LLMs aktiv genutzt hatten
    • Das Problem war nicht AI an sich, sondern die unterschiedlichen Ansichten der Menschen
    • LLMs verstärken sogar die Ansichten des Nutzers, daher müssen Menschen zu Beginn grobe Richtung und einen guten Ausgangspunkt vorgeben
    • Erst mit ausreichend Urteilsvermögen lässt sich die LLM-Nutzung eigenständig sinnvoll fortsetzen

Nicht Ersatz, sondern Verstärkung des Denkens

  • Der Widerspruch zwischen Kritik und Nutzung ist keine isolierte Erfahrung; Ähnliches zeigte sich auch auf dem Konferenz-Discord, in persönlichen Gesprächen und in jüngsten Beiträgen auf Hacker News
  • Um LLM-erzeugten Ergebnissen zu vertrauen, muss man fortlaufend mit den konkreten Outputs interagieren, was wiederum viel Zeit kostet
  • Abseits überzogener Werbeversprechen haben LLMs einen Wert als nützliches Werkzeug, das menschliches Denken bereichern kann
  • LLMs können Denken verstärken, aber menschliches Denken nicht ersetzen

Verwandte Beiträge

1 Kommentare

 
GN⁺ 5 시간 전
Hacker-News-Meinungen

  • LLMs verstärken bereits vorhandene Meinungen, Strukturen und Denkmuster und helfen dabei, Gedanken schneller und klarer auszudrücken, aber es besteht die Sorge, dass ein agentenzentrierter Einsatz die Denkfähigkeit untergraben könnte, auch im Software Engineering
    Wie echte Muskeln muss auch das Gehirn ständig benutzt werden, und es ist schwer, sicher zu sein, ob Denken und Geschmack nach 5, 10 oder 20 Jahren täglicher Nutzung solcher Werkzeuge tatsächlich noch schärfer werden
    Zwar ist klar, dass man in vertrauten Bereichen schneller wird und auch in neue Felder rascher einsteigen kann, doch es ist schwer, das richtige Gleichgewicht zu finden zwischen dem Weg, allein seine Fähigkeiten zu schärfen und im Produktivitätswettbewerb zurückzufallen, und dem Weg, Agenten den Vorrang zu geben und Lernen nachrangig aufzuschieben
    Ich respektiere und verstehe auch die Haltung, LLMs aus moralischen Gründen abzulehnen, persönlich handle ich aber nicht so

    • Diese Vorteile sind nicht so selbstverständlich, wie sie erscheinen. Entwickler haben die Produktivitätssteigerung durch LLMs durchweg überschätzt, und bei agentenartiger AI scheint sich dasselbe fortzusetzen: https://metr.org/blog/2026-05-11-ai-usage-survey/
      Das sieht den Ergebnissen von LLMs vor Agenten erstaunlich ähnlich, und da es überhaupt keine Langzeitdaten gibt, lässt sich der Nutzen zumindest auf individueller Ebene durchaus in Frage stellen, wenn auch vielleicht nicht auf dem Arbeitsmarkt
    • Ich arbeite an der Schnittstelle von Technologie, Finanzen und Analyse, mein Coding-Anteil ist also gering, aber ich kann inzwischen mehrere Projekte selbst angehen, die ich früher ohne ein deutlich größeres Support-Team nicht einmal angefasst hätte
      Als ich kürzlich zum ersten Mal Go gelernt habe, hätte ich alles Codex überlassen können, aber weil ich vermutlich auch künftig Go-Projekte machen werde, gehe ich absichtlich langsam vor, um Grundlagen und Beurteilungskriterien zu lernen. Einmalige Python-Skripte dagegen überfliege ich inzwischen fast gar nicht mehr, und gerade das macht mir eher Angst
    • Am meisten beunruhigt mich, dass die Fähigkeit, richtig einzuschätzen, was man lernen sollte, und dann konsequent weiterzulernen, womöglich schwächer ist als gedacht
      Zum Beispiel schreibt ein LLM reguläre Ausdrücke besser als der durchschnittliche Entwickler, und Aufgaben, für die man reguläre Ausdrücke braucht, tauchen nur alle paar Monate auf; außerdem sind sie mühsam, wenn man sich selbst per Trial-and-Error herantastet, also überlässt man sie leicht einfach dem Modell. Mit der Zeit könnten dann sowohl die Intuition dafür, was mit regulären Ausdrücken möglich ist, als auch die Fähigkeit, sie ohne LLM zu schreiben, und sogar die Menschen, die dazu Material erstellen, verschwinden
      Insgesamt lohnt sich der Einsatz wahrscheinlich, aber beunruhigend ist, dass man womöglich nicht einmal genau beurteilen kann, was man dabei verliert
    • Ich dachte, Agenten würden Fähigkeiten schwächen, aber tatsächlich lassen sie sich auch für technisches Training und Lernen nutzen
      Auf Basis der Hinweise zu Tech-Stack, Themen und Bewertungskriterien, die ich vor einem Coding-Interview bekommen hatte, ließ ich Claude 12 Übungsprojekte sowie Aufgaben- und Lösungsdokumente erstellen, und Codex übernahm die Rolle des Interviewers, gab Feedback und hakte nach, während ich meinen Lösungsweg und meine Gedanken laut erklärte. Ich habe nur zwei oder drei davon geschafft, aber zum ersten Mal hat mir Interviewvorbereitung Spaß gemacht, und ich habe tatsächlich Neues gelernt
      Am schwierigsten war es, das LLM daran zu hindern, die Aufgaben für mich zu lösen, aber mit Zeitvorgaben, klaren Anweisungen und Rollentrennung ließ sich das lösen
    • Es kommt einem auch die Möglichkeit in den Sinn, dass LLMs geistige Fähigkeiten und Fertigkeiten so weit schwächen könnten, dass eine Situation wie im Film Idiocracy entsteht
      Die Hypothese, dass AI die Zivilisation gewaltsam zerstört, ist aus Diskussionen über das Fermi-Paradoxon bereits gut bekannt, aber auch ein gewaltfreier Niedergang durch geistige Degeneration sollte berücksichtigt werden

  • 10.000 Dollar im Monat für Tokens auszugeben und ein Programm Texte schreiben zu lassen, die man selbst kostenlos gut verfassen könnte, wirkt absurd töricht. Es fühlt sich an, als würden alle zu den apathischen Menschen aus Wall-E werden
    Wenn wegen Leistungsgrenzen der abnehmende Ertrag einsetzt, offene Modelle mit proprietären Modellen gleichziehen, OpenAI und Anthropic sich gegenseitig in die Insolvenz treiben und jeder auf dem eigenen Laptop ein persönliches kostenloses Open-Source-Modell laufen lassen kann, würden hoffentlich auch viele der Probleme mit LLMs verschwinden, die daraus entstehen, dass man andere für etwas bezahlt, das man ursprünglich kostenlos selbst getan hat

    • Nach dieser Logik wäre es nicht anders, als jemanden zu tadeln, weil er 1.000 Dollar für ein Flugticket ausgegeben hat, obwohl man auch kostenlos von SFO nach NYC laufen könnte

  • Smartphones sind ebenfalls großartige universelle Werkzeuge, und Social Media ist auch ein gutes Werkzeug, um Menschen zu verbinden, aber wir waren in den letzten 20 Jahren viel zu optimistisch, was ihre gesellschaftlichen Auswirkungen angeht
    Smartphones waren so nützlich, dass in manchen Gesellschaften ungefähr die Hälfte der Menschen davon abhängig wurde, weltweit Milliarden. Ob LLMs das Denken langfristig bereichern oder ruinieren, oder ob in 10 Jahren die Hälfte der Menschen den Großteil ihres Denkens auslagert, wissen wir nicht
    Da dieses Experiment weltweit sehr schnell durchgeführt wird, ist eine skeptische Haltung gegenüber der Schlussfolgerung angemessen, dass LLMs das Denken langfristig bereichern

    • Werkzeuge sind nützlich, aber alles auf ein einziges Werkzeug zu setzen ist gefährlich. So wie es eindeutig eine schlechte Entscheidung war, sich nur auf Autos zu verlassen und dafür Fahrräder, Busse und Züge zu opfern, ist es auch keine gute Idee, selbst wenn LLMs praktisch sind, Billionen Dollar sowie die Zukunft einzelner Staaten und der Welt daran zu binden
    • Es gibt die Erzählung, dass Menschen in der Vorgeschichte mit ihrer geringen technischen Ausstattung zum Überleben ständig klug und wachsam sein mussten und deshalb der durchschnittliche Höhlenmensch intelligenter gewesen sei als der heutige Mensch
      Heute kann man auch als McDonald’s-Mitarbeiter überleben, und LLMs setzen lediglich den langfristigen Trend zum kognitiven Outsourcing fort, auf dem die Menschheit schon lange unterwegs ist

  • Als tatsächlicher Beleg wurde nur die Blockade durch die USA angeführt; da alle modernsten chinesischen Modelle kostenlos heruntergeladen werden können, ist die Sorge, China werde genauso handeln, eher eine Projektion des US-Verhaltens. Chinas AI-Strategie ist hier zu sehen: https://ipc.court.gov.cn/zh-cn/news/view-5766.html

    • Die USA haben tatsächlich das getan, was der Autor beschreibt, daher ist unklar, was daran Projektion sein soll. Wenn geopolitische Konflikte zunehmen, ist es nicht schwer, sich vorzustellen, dass China ähnliche Maßnahmen ergreifen könnte
      Zudem ist nicht sicher, ob die von China veröffentlichten Modelle wirklich die tatsächlich modernsten Modelle sind; es ist gut möglich, dass die intern fortschrittlichsten Modelle nicht offengelegt werden

  • Obwohl ich LLMs bei der Entwicklung ziemlich häufig nutze, schaffe ich es fast nie, auch nur die im 10-Dollar-Monatsabo von OpenCode Go enthaltenen Tokens aufzubrauchen, daher frage ich mich, was die Leute überhaupt mit Unmengen an Tokens machen.

    • Selbst in meinem nutzungsstärksten Monat waren es 45 Dollar, und in diesem Juli bisher erst 6 Dollar. Es wäre gut, wenn LLMs Aufgaben erledigen könnten, für die man sie braucht, aber ich erfinde keinen Grund, dafür Geld zu verschwenden.
      Die sogenannten Token-Maximierer scheinen genau das zu tun, und dass bei all dem Vibe Coding erstaunlich wenig Wertvolles herauskommt, zeigt das auch.
    • Ich habe 3 max20-Abos und nutze normalerweise mindestens 2 davon bis zum Limit.
      Ich baue eine Social-Media-Seite, die niemand nutzen wird, Linux-Ports alter Spiele samt unnötiger Hardware-Beschleunigung, analysiere Crash-Logs eines Xbox-Spiels mit etwa 50 aktiven Nutzern, entwickle ein verteiltes Kundenservice-System mit Gmail-, Kalender- und Tabellen-Integration sowie Unterstützung für LLMs, Retrieval-Augmented Generation (RAG) und Tool-Calling und mache Spiele, die ich bei Google Play veröffentlichen will.
      Die meisten Tokens habe ich für einen Agenten-Schwarm verbraucht, mit dem ich experimentiert habe, um eine komplexe Desktop-App für spezielle Datenmanipulation umzusetzen; sie funktioniert halbwegs, hat aber viele Bugs. Am erfolgreichsten wirken die internen Tools, die in der Firma alle nutzen, und eine Vorab-Deployment-Umgebung für ein Produkt, das mit Azure-Credits gebaut wurde.
    • Wenn man Änderungen überprüft und laufend Feedback gibt, verbraucht das gar nicht so viele Tokens, aber viele Nutzer führen es so aus, dass sie alles dem Agentenmodus überlassen.
    • Ich nutze ein 100-Dollar-Monatsabo von Claude, komme aber fast nie über 50 %, bevor das Nutzungslimit zurückgesetzt wird. Das war auch so, als ich Fable testen wollte und dafür mehrere Aufgaben gebündelt ausgeführt habe.
    • Ein erheblicher Teil des Token-Verbrauchs entstand durch das extrem teure Fable.

  • Dem Teil „LLMs sind schlecht“ stimme ich größtenteils zu, aber dass LLMs menschliches Denken schneller und schärfer machen, finde ich sehr schwer zu glauben.
    Es gibt bereits mehrere Studien mit weitgehend erwartbaren Ergebnissen, und bei langfristiger Nutzung ist es sehr wahrscheinlich, dass sich negative kognitive Effekte aufsummieren und es noch schlimmer wird.

    • Welche Wirkung LLMs auf den Denkprozess haben, hängt vollständig von den Abläufen der Zusammenarbeit ab.
      Wenn man ausführliche Ausgaben aktiviert lässt und liest, wie Claude arbeitet und argumentiert, kann man genauso schnell und klar denken wie früher oder sogar schneller und klarer. Man lernt Unerwartetes, stoppt Claude frühzeitig, wenn es in die falsche Richtung läuft, und kann schrittweise Handlungen und Begründungen prüfen, um falsche Annahmen leichter zu finden.
      Wenn man dagegen hinterher Tausende von Zeilen prüft, die ein Agent geschrieben hat, ist das quälend, und wenn mehrere Agenten gleichzeitig laufen, wird die Konzentration zersplittert, sodass es schwerfällt, die eigene Denkleistung vollständig auf eine Aufgabe zu richten.
    • Früher war ich vom schlimmsten Ausgang überzeugt, aber nachdem ich begonnen hatte, LLM-Ausgaben richtig zu lesen und daraus zu lernen, hat sich meine Ansicht geändert. Davor habe ich sie nur schnell überflogen, um zu prüfen, ob grober Unsinn oder Halluzinationen dabei waren.
      Das ist ähnlich wie der Unterschied zwischen jemandem, der nach einer Prüfung fast alles Gelernte wieder vergisst, und jemandem, der nicht zum Nächsten weitergehen kann, wenn er die Grundlagen von Formeln, Fakten und Theorien nicht verstanden hat.

  • Es kommen viele PRs von geringer Qualität herein, die eigentlich mit einem Bug-Report oder einer Diskussion im Open-Source-Projekt hätten beginnen sollen, und es ist schwieriger geworden herauszufinden, was die Leute überhaupt gestört hat, sodass sie einen PR erstellt haben. Denn selbst wenn man nachfragt, antwortet die betreffende Person oft mit einem LLM.
    Bei den meisten Projekten geht die Tendenz dahin, PRs von Nicht-Kernentwicklern zu blockieren. Wenn es sich um jemanden handelt, mit dem man das Problem direkt besprechen kann, ist es für mich leichter, die Umsetzung lieber selbst mit einem LLM zu machen, und PRs von zufälligen Nutzern oder Bots ändern oft schon nach ein paar Fragen den ganzen Code so stark, dass sie schwer zu reviewen sind.
    Allerdings habe ich bis vor 8 Jahren über PRs auch interessante Menschen kennengelernt und Vertrauen sowie Beziehungen aufgebaut, deshalb ist es schade, dass solche Gelegenheiten verschwinden.

  • Der Vorgehensweise, den Großteil der LLM-Ausgabe nicht zu lesen und nur die grobe Richtung zu überfliegen, kann ich schwer zustimmen. Ich nutze in letzter Zeit lokale und Cloud-LLMs, um Forschungscode zu schreiben, und portiere Prototypen testweise in weniger vertraute Sprachen wie Rust, aber wenn ich am Ende zufrieden bin, muss ich jede einzelne Zeile selbst verstehen.
    Auch wenn ich mir die Interpretation von einem LLM helfen lasse, versuche ich bei unbekannten Konzepten, Primärquellen von Fachleuten zu finden und zu lesen.
    Die am wenigsten schädliche Nutzung von LLMs ist wohl noch Ideenfindung, bei der man gute Fragmente herausnimmt und den Rest verwirft, aber es gibt auch das Risiko, dass wie bei Spotify-Radio oder YouTube-Autoplay Denken und Geschmack aller in dieselbe Richtung eingeebnet werden.
    Zu einer endgültigen Schlussfolgerung bin ich noch nicht gekommen, aber es macht großen Spaß, schnell laufende Prototypen zu bauen, und ich war schon immer ein Top-down-Lerner, der zuerst eine beeindruckende Demo baut, die er selbst nur halb versteht, und dann beim Zerlegen daraus lernt.

  • LLMs mit Webstühlen oder Taschenrechnern zu vergleichen, vereinfacht das Problem übermäßig und ist intellektuell nicht redlich. Solche Werkzeuge hatten weder eine anthropomorphisierte Schnittstelle noch unmittelbare Befriedigung, und um mit einem Taschenrechner etwas Wichtiges zu tun, musste man immer noch Mathematik, Rechenreihenfolge und Formeln verstehen; außerdem manipulierten sie keine Gefühle.
    Einschlägige Forschung deutet auf noch schlechtere Folgen hin als nur das Verschwinden handgemachter Software: https://arxiv.org/pdf/2604.04721
    Beharrlichkeit ist die Grundlage des Kompetenzerwerbs und der stärkste Prädiktor für langfristiges Lernen, doch AI kann Menschen darauf konditionieren, sofort Antworten zu bekommen, und ihnen so den Prozess nehmen, sich selbst durch Schwierigkeiten hindurchzuarbeiten. Das Problem ist nicht die Fähigkeit, gute Software von Hand zu bauen, sondern die Möglichkeit, dass wir das innere Werkzeug selbst verlieren, mit dem wir Neues lernen, weil wir biologisch notwendige Prozesse umgehen.

    • LLMs ersetzen das Gehirn, den tiefsten und erstaunlichsten Teil des Menschen, und aus Unternehmenssicht ist ihr potenzieller Wert astronomisch.
      Es ist gut möglich, dass neue Software nicht explosionsartig zunimmt, sondern nur kurz anwächst und dann in sinkende Grenzerträge gerät. Wenn es derzeit 25 Millionen Entwickler gibt und in ein paar Jahren nur noch 15 Millionen gebraucht werden, dann sind die wegfallenden 10 Millionen die Rendite von OpenAI, Anthropic und ähnlichen Unternehmen, und ich könnte selbst zu diesen 10 Millionen gehören.
    • Anders als ein Taschenrechner scheint die Fähigkeit, Emotionen anzusprechen, der Schlüsselfaktor zu sein, der destruktive Folgen verstärkt.
      Dass ein Kind an einer virtuellen Figur hängt, ist etwas völlig anderes als wenn diese Figur mit ihm spricht, sich erinnert, unvorhersehbar ist und manchmal schädliche Themen anspricht. Wir nähern uns dem Punkt, an dem LLM-Bildung vom Kindergarten an beginnen sollte, inklusive Grundlagen der Technik und ihrer Grenzen.

  • Die Aussage „Ich stimme fast jeder LLM-Kritik zu“ scheint schwer haltbar, weil es so viele einander ausschließende Kritiken gibt.
    Am einen Ende steht die Position, dass LLMs nicht einmal die grundlegendsten Funktionen beherrschen, am anderen Ende die Position, dass sie bereits Bewusstsein haben, sich über steganografische Nachrichten untereinander verständigen und die Vernichtung der Menschheit planen.
    Selbst innerhalb der eher verbreiteten Kritik jenseits dieser Extreme gibt es beträchtliche Unterschiede, und zwischen einer Position, die alle LLMs ablehnt, und einer, die nur Modelle mit proprietären Gewichten ablehnt, liegt eine große Kluft. Auch diejenigen, die übermäßige Zensur kritisieren, und diejenigen, die unbegrenzte Generierung kritisieren, widersprechen einander.