Der KI-Hype zerschlägt weltweit die Entscheidungsfindung

• Die Erfolgsquote der KI-Projekte, die in den vergangenen 18 Monaten beobachtet wurden oder an denen eine Mitarbeit angefragt wurde, lag bei 0 %; die Unsicherheit der Technologie traf auf die schlechte Steuerung bestehender Softwareprojekte, sodass Investitionen nicht in Ergebnisse mündeten
• In Organisationen mit mehr als 500 Beschäftigten können schon Zweifel am Nutzen von KI Beförderung und Beschäftigung gefährden; Mitarbeitende passen sich den Erwartungen der Organisation durch AI Washing und Manipulation des Token-Verbrauchs an
• Auffällige KI-Demos wie Datenabfragen in natürlicher Sprache lösen trotz Warnungen vor Genauigkeits- und Betriebsgrenzen Kaufrausch aus und können für Anbieter sogar Reputations- und Rechtsrisiken schaffen
• Wegen eines Koordinationsproblems, bei dem Kunden und Boards die überzogenen Produktivitätsbehauptungen der jeweils anderen Seite nicht widerlegen können, unterstützen selbst skeptische Führungskräfte öffentlich KI-Investitionen, und auch Nicht-KI-Geschäfte werden gezwungen, KI-Elemente anzubauen
• Um Organisationen wieder auf Kurs zu bringen, sind Einzelgespräche, anonyme Umfragen und Vor-Ort-Validierung nötig; Mitarbeitende, die interner Politik kaum ausweichen können, sollten einen Jobwechsel oder den Wechsel in Vertragsarbeit vorbereiten, bevor sie an KI-generiertem Code ausbrennen

---

Das Scheitern von KI-Projekten über 18 Monate hinweg

• Aus der Erfahrung, im vergangenen Jahr den Vertrieb und den Großteil der technischen Arbeit des Unternehmens übernommen und weltweit rund 300 Gespräche mit Fachleuten geführt zu haben, waren Verantwortliche in privaten und öffentlichen Organisationen entweder planlos in KI vertieft oder schwiegen dazu
• Der Grund, warum sich die tatsächlichen Ergebnisse von KI-Projekten schwer überprüfen lassen, ist, dass Boards, Management, Mitarbeitende, Anbieter und Berater alle keinen Anreiz haben, Misserfolge öffentlich zu machen
  • Das Management könnte seine Position verlieren, wenn es Scheitern eingesteht
  • Mitarbeitende könnten entlassen oder von Restrukturierungen betroffen sein
  • Einige börsennotierte Unternehmen kaufen Copilot-Lizenzen und verkünden dies anschließend als KI-Produktivitätssteigerung
• Alle Projekte, die beobachtet wurden oder bei denen um Mitarbeit gebeten wurde, scheiterten über 18 Monate hinweg; das Team lehnte sämtliche KI-Implementierungsarbeit ab und behielt nur Verträge bei, die nicht direkt vom Fortbestand von OpenAI abhängen
• Auch wenn KI-Tools bestimmte Aufgaben beschleunigen können, waren die derzeitige Art und Größenordnung der Investitionen nicht sinnvoll
  • Alle Scheiterfaktoren normaler Softwareprojekte bestehen unverändert weiter
  • Durch die neue Technologie kommt ein zusätzliches Risiko hinzu, sodass Projekte selbst bei korrekter Implementierung scheitern können
  • Nur wenige Unternehmen verfügen über eine Software-Delivery-Kompetenz, die gut genug ist, um dieses Risiko zu tragen

Warum interne und kundenorientierte Chatbots keine Ergebnisse liefern

• Interne Chatbots können wegen der geringen Qualität von Unternehmensdokumenten keine ausreichenden Antworten erzeugen, und auch die tatsächliche Nutzung durch Mitarbeitende war nicht signifikant
• Auch bei kundenorientierten Chatbots gab es selten zufriedenstellende Beispiele; eine Ausnahme war etwa Echtzeit-Transkription während medizinischer Behandlungen
• Projektverantwortliche meiden grundlegende Kennzahlen, die zeigen, ob ein Tool tatsächlich genutzt wird, und wählen stattdessen leicht manipulierbare Metriken
• Mitsubishis Sprachbot für Pannenhilfe bei Autos war mit natürlicher Stimme, schnellen Antworten und realer Betriebsumgebung sehr ausgereift, doch der zugesagte Rückruf kam sechs Monate lang nicht
  • Es war unklar, ob die Anfrage verschwunden war oder ob sie ohne menschliches Eingreifen als gelöst gezählt wurde
  • Obwohl im System kein Fehler sichtbar war, entschied sich der Kunde, kein Mitsubishi-Fahrzeug mehr zu kaufen
• Schon die Frage nach Zielen, Nutzern und Ergebnissen laufender KI-Projekte kann als Angriff auf die Verantwortungsstruktur verstanden werden, weshalb ein Eingreifen vor einer Krise schwierig ist
• Nach Gerry Weinbergs Grundsatz, dass Beratung bedeutet, auf Menschen Einfluss zu nehmen, wenn diese darum bitten, wird nicht in Projekte eingegriffen, solange nicht ausdrücklich Rat zu einer allgemeinen Datenstrategie angefragt wird

Eine Organisationskultur, die Zweifel nicht zulässt

• In allen beobachteten Unternehmen mit mehr als 500 Beschäftigten musste man die transformative Kraft von KI immer wieder verkünden, um Beförderungen und Beschäftigung zu sichern
• Es ging nicht um das Vorschlagen technischer Nutzungsmöglichkeiten, sondern eher um ein religiöses Glaubensbekenntnis, vor allem getrieben von nichttechnischen Mitarbeitenden, dem sich auch einige Techniker anschlossen
• Es gab Fälle, in denen jemand sagte, „KI verändert alles“, aber keinen einzigen LLM-Anwendungsfall oder eine tatsächliche Veränderung in der eigenen Organisation nennen konnte
  • Es gab sogar den Fall einer Führungskraft, die eine KI-zentrierte Technologiestrategie für eine Organisation mit mehr als 2 Mrd. US-Dollar Jahresumsatz erstellte, ohne je ein KI-Tool einschließlich ChatGPT genutzt zu haben
• Gefährlicher als einfache PR-Lügen waren Verantwortliche ohne technischen Hintergrund, die ihre eigenen Aussagen tatsächlich glaubten
  • Mit jemandem, der lügt, kann man über Eigeninteressen verhandeln; wahre Gläubige lassen sich nicht einmal durch ihre eigenen Interessen erschüttern
  • Eine Organisation entließ Top-Performer, weil sie ohne LLMs hohe Leistung erbracht hatten
• Auch wenn sich die kritische Position von „My AI Skeptic Friends Are All Nuts“ unterscheidet, besteht Einigkeit darin, dass die Pflicht zur LLM-Nutzung durch das Management eine schlechte Strategie ist und professionellen Mitarbeitenden unnormale Arbeitsbeschränkungen auferlegt

AI Washing und manipulierbare Bewertungsmetriken

• Als Manager die Nutzung von KI wichtiger nahmen als Ergebnisse, begannen Engineers mit AI Washing: Sie arbeiteten auf herkömmliche Weise und berichteten anschließend, Claude habe die Arbeit erledigt
• Einige Organisationen betreiben Ranglisten, in denen höherer Token-Verbrauch zu besseren Bewertungen führt
  • Mitarbeitende, die wegen ihrer Fähigkeit zur Systemoptimierung eingestellt wurden, richten LLMs so ein, dass sie Prompts selbst wiederholen
  • Auch wenn die Ausgabe nicht für die Bereitstellung geeignet ist, füllen sie lediglich den Token-Verbrauch auf und widmen sich dann anderen Aufgaben
• Ein Software Engineer erfüllte seine Nutzungsquote, indem er einer KI eine Kopie eines Go-Repositorys gab, sie das gesamte Repository in Zig neu schreiben ließ und das Ergebnis anschließend wegwarf
• Tatsächlich entlassen wurden Personen, die sichtbare Zweifel an der KI-Strategie äußerten, und Mitarbeitende lernten, dass es sicher ist, die KI-Vision des Managements zu loben
• So wie nichtfachliche Manager in Krankenhäusern oder Bauingenieurunternehmen ohne Zustimmung der Fachleute vor Ort keine konkreten Verfahren erzwingen, ist es auch unangemessen, wenn nichttechnisches Management Softwarefachleuten bestimmte Tools vorschreibt

Der Kaufrausch, den die Snowflake-Cortex-Demo auslöste

• Snowflake rechnet nutzungsbasiert ab und konnte typische Unternehmensdaten in etwa einer Minute pro Tag verarbeiten, weshalb es als Analysedatenbank genutzt wurde; die KI-Chatbot-Schicht Cortex wurde jedoch nicht verwendet
• Cortex übersetzt natürliche Fragen wie „Wie hoch war der Umsatz letzte Woche?“ anhand von Metadaten wie der Bedeutung von Datenspalten in Datenbankabfragen
• In einer Präsentation eines Snowflake-Mitarbeiters lag die Genauigkeit bei optimaler Konfiguration bei etwa 92 %; bei Daten großer Unternehmen kann damit ungefähr eine von zehn Zahlen falsch sein, außerdem gab es gravierende Probleme beim Deployment-Management
• Die Demo wurde mit der Warnung gezeigt, dass sie nicht für den Betrieb geeignet sei, doch alle zuvor lauwarmen potenziellen Kunden wollten sofort kaufen
  • Der Vorschlag, mit nicht-KI-basierten Methoden Werte in Millionenhöhe zu schaffen, geriet ebenfalls aus dem Blickfeld
  • Da es als unverantwortlich angesehen wurde, die Lücke rationaler Urteilsfähigkeit auszunutzen, wurde der Verkauf eingestellt und Cortex von der Demo-Liste entfernt
• Selbst die minderwertige Demo, die das Team in zwei Stunden gebaut hatte, war besser als das, was potenzielle Kunden zuvor gesehen hatten
  • Selbst ein ASX-notiertes Unternehmen, das bereits KI-Nutzung bewarb, hatte aus bisherigen Investitionen nichts Vorzeigbares
• Potenzielle Kunden, die mehr als vorübergehende Neugier an KI zeigten, offenbarten im Verkaufsprozess irrationales Verhalten und ein nahezu kultisches Managementumfeld; da Verträge Reputations- und Rechtsrisiken schaffen konnten, wurden alle Geschäfte aufgegeben

Das Koordinationsproblem, das Führungskräfte daran hindert, mit Übertreibungen aufzuhören

• Einige KI-Verantwortliche in Unternehmen mit mehr als 1 Mrd. US-Dollar jährlich wiederkehrendem Umsatz erklärten, dass sie ihre Position im Grunde für unecht hielten, sie aber übernommen hätten, weil dies der einzige Beförderungsweg in der Organisation gewesen sei
• Auch eine technisch kompetente Führungskraft eines Fortune-500-Unternehmens konnte öffentliche Aussagen des Unternehmens wie „100-fache Produktivität“ privat nicht verteidigen
• Der zentrale Treiber der Übertreibung waren weniger Verkaufstexte als das Gesicht der Kundenführungskräfte und Vertragsbeziehungen
  • Wenn eine Führungskraft des Anbieters die Behauptung eines Kunden über 100-fache Produktivität zurückweist, kann dies als Angriff verstanden werden, der die Glaubwürdigkeit der Kundenführungskraft beschädigt
  • Wird daraufhin ein großer Unternehmenskundevertrag gekündigt, kann auch diese Führungskraft des Anbieters entlassen werden
• In Beziehungen, in denen Unternehmen zugleich Kunden und Lieferanten voneinander sind, fällt es keiner Führungskraft leicht, als Erste die Wahrheit auszusprechen
  • Wenn alle bei der Übertreibung mitmachen, können sie ihre Position behalten
  • Wenn eine Person ausschert, lässt sie die Kollegen wie Lügner, Feiglinge oder Unfähige aussehen und kann entlassen werden
  • Wenn alle es gleichzeitig eingestehen, könnten sie die Situation ändern, aber es gibt keine Möglichkeit, dies zu koordinieren
• Auch Mitglieder von Boards in S&P-500-Unternehmen zweifelten an den Risiken von KI-Investitionen, hatten aber das Gefühl, Investitionen fordern zu müssen, um ihre eigenen Sitze zu behalten
  • Ein Director urteilte: „So früh zu investieren scheint, als würde man nur Risiko übernehmen, ohne Aufwärtspotenzial zu haben“
  • Etwa zwei Jahre später warb diese Organisation im Wert von mehreren Milliarden US-Dollar damit, AI-native zu sein

Der Reinheitstest, der jedes Geschäft als KI verpackt

• Jeder Vorschlag, bei dem interne Politik eine Rolle spielt, muss KI-Ausrichtung enthalten, um genehmigt zu werden, selbst wenn der tatsächliche Wert unklar ist
• Viele KI-Projekte waren bestehende Nicht-KI-Projekte, denen nachträglich KI-Elemente angehängt wurden, um den Reinheitstest zu bestehen
• In einem Fall, in dem eine Datenbank von Oracle zu Snowflake migriert wurde, fügte der Anbieter einen Schritt hinzu, bei dem die Umwandlung von Oracle SQL in Snowflake SQL mit einem LLM automatisiert werden sollte
  • Wegen fehlender Berechtigungen scheiterte die Automatisierung, sodass Menschen die Umwandlung direkt vornahmen
  • Nur weil ein Teil des SQL von KI übersetzt worden war, wurde das gesamte Projekt als KI-basierter Erfolg gemeldet
  • Tatsächlich gekauft wurde eine normale Datenbankmigration, um ein bestehendes System vor der Lizenzverlängerung außer Betrieb zu nehmen
• Echte KI-Projekte, bei denen ein LLM der einzige zentrale Mechanismus ist und der Erfolg anhand konkreter Zahlen bewertet werden kann, waren selten
  • Sie traten vor allem bei Startups auf, doch wiederholt kam am Ende des Verkaufsprozesses die Bitte, ein Produkt zu bauen, das bereits als fertig beworben worden war, weshalb die Geschäfte beendet wurden
• Geschäftsvorhaben, denen sich KI nur schwer anheften lässt, werden bei Finanzierungsanfragen abgelehnt, oder die Kommunikation verzögert sich, bis der Vorschlag „KI genug“ ist
• Manche Unternehmen verlangen bei der Bitte um zusätzliche Mitarbeitende zunächst den Nachweis, dass KI ausprobiert wurde
  • Wer sagt, dass trotz KI-Einsatz Mitarbeitende nötig sind, kann als „jemand, der KI falsch nutzt“ eingestuft und entlassen werden
• Abgesehen von den sehr wenigen Unternehmen, bei denen KI tatsächlich mit der obersten Priorität übereinstimmt, fällt es großen Organisationen schwer, sich auf angemessenen Softwarekauf, Talentgewinnung, ehrliche Projektberichte und rationale neue Geschäftsvorhaben zu konzentrieren

Wenn ein bestimmtes Projekt wieder auf Kurs gebracht werden muss

• Probleme von KI-Projekten lassen sich besser in Einzelgesprächen als in Gruppensitzungen behandeln
  • In öffentlichen Runden fürchtet jede teilnehmende Person, gegenüber Kollegen als Skeptiker zu erscheinen
  • Beim Weitergeben von Einschätzungen an andere sollte zugesichert werden, die Identität zu verbergen
  • Formulierungen, aus denen sich die Quelle wie bei einem direkten Zitat ableiten ließe, sollten vermieden werden
  • Wenn nur etwa eine von sechs Personen Probleme anspricht, ist es möglicherweise besser, in eine Organisation mit höheren Verbesserungschancen zu wechseln
• Für laufende Projekte kann die aus Secrets of Consulting übernommene Methode der anonymen Umfrage genutzt werden
  • Wenn die Erfolgschancen auf einer Skala von 1 bis 10 bewertet werden sollen, kann eine polarisierte Verteilung entstehen, bei der einige 3 Punkte und andere 8 Punkte vergeben
  • Eine solche Lücke zeigte sich sogar bei einem Projekt, das bereits drei Jahre verspätet war, und kann dem CEO zeigen, dass wichtige Informationen verborgen werden
• Ob ein Projekt tatsächlich erfolgreich ist, sollte bei den Mitarbeitenden vor Ort überprüft werden, die das Tool täglich nutzen
  • Sie müssen ihre Meinung in einem Umfeld äußern können, in dem sie respektiert werden
  • Bei einem Kunden wussten Mitarbeitende nicht einmal, dass ihnen Lizenzen für ein KI-Tool zugewiesen worden waren, wodurch die Grundlage der Produktivitätssteigerungsbehauptung ins Wanken geriet
• Wenn es darum geht, ein bestimmtes Problem zu lösen, ist es besser, umfassende Aussagen wie „KI verändert alles“ nicht zu widerlegen
  • Wer das Realitätsbild der Organisation selbst herausfordern will, muss zuerst das Vertrauen der obersten Führung gewinnen
  • Statt jemanden öffentlich bloßzustellen, sollte man in einem privaten Abendessen die Anspannung senken
• Da nicht bekannt ist, welche öffentlichen Aussagen Teilnehmende eines Meetings in der Vergangenheit gemacht haben, kann selbst eine Selbstverständlichkeit wie „LLMs sollten ohne menschliche Prüfung keinen Code deployen“ den frühen Vertrauensaufbau zerstören
• Wenn ein anderes gemeinnütziges Ziel erreicht werden muss und ein ehrlicher Ansatz unmöglich ist, wird sogar die Variante, dem Projekt einen 10.000-Dollar-KI-Chatbot hinzuzufügen und nur diesen Teil hervorzuheben, als realistische Option betrachtet

Wenn man überleben muss, statt die Organisation zu verändern

• Die kollektive Fixierung auf KI ist weniger ein Problem der Technologie selbst als eines dysfunktionaler Unternehmenskultur, gegen das Einzelne kaum sinnvoll Widerstand leisten können
• Der Wechsel von einer Festanstellung in Vertragsarbeit kann mehr Vergütung bringen, von interner Politik entlasten und selbst in schwer erträglichen Umgebungen ein klares Enddatum schaffen
• KI-Nachrichten sollten nur im nötigen Umfang konsumiert werden; Kanäle wie Hacker News und Reddit, die ständig entsprechende Meldungen liefern, sollte man besser meiden, um die mentale Belastung zu senken
  • Auch wenn man Freunden Frust schildert, sollte man erklären, warum dieses Gespräch nötig ist, und auf angemessenem Niveau aufhören
• Wenn Menschen im Umfeld KI unangemessen, aber nicht für gefährliche Zwecke nutzen, empfiehlt es sich, nicht zu streiten; wird man als Programmierer um eine Meinung gebeten, kann man kurz sagen, „da ist einiges übertrieben“, und dann das Thema wechseln
• Wer ständig 2.000-Zeilen-PRs mit KI-generiertem Code reviewen muss, sollte mit Ausbrennen und Entlassung rechnen und mit der Jobsuche beginnen, solange noch Energie übrig ist
  • Es ist schwierig, die Erzeuger davon zu überzeugen, große Mengen minderwertigen Codes zu stoppen
  • Langsameres Arbeitstempo und Unzufriedenheit des Managements entstehen schwer vermeidbar entweder jetzt durch die Jobsuche oder später durch Ausbrennen
• Wenn ein Manager mit offensichtlich KI-generierten Sätzen antwortet, sollte man selbst mit KI antworten, um Energie zu sparen, und parallel eine neue Stelle suchen
• Auch wer aufgefordert wird, den Token-Verbrauch zu maximieren, sollte den Wechsel vorbereiten, bevor der Realitätssinn verloren geht
  • Solche Unternehmen können in kleinen Organisationen existieren, die auf Recruiting-Plattformen kaum sichtbar sind
  • Da die Suche mehrere Monate dauern kann, sollte man früh beginnen

[GN⁺]

Hacker-News-Kommentare

• Die meisten von uns waren bis zu einem gewissen Grad überzeugt, dass AI die Gesellschaft vollständig umkrempeln und die Singularität bringen würde, aber die Realität sah anders aus. Statt Fehler einzugestehen und neu zu bewerten, wird AI gewaltsam in jede Nische hineingestopft und das dann als Fortschritt ausgerufen — ein Zukunfts-Rollenspiel.
  Das ist ähnlich wie ein Kind in den 1990ern, das glaubt, mit dem Nintendo Power Glove ein Hacker zu sein; das ist keine Singularität. Hoffentlich endet dieser Hype und alle kehren wieder in eine Phase zurück, in der sie auf das nächste Wundermittel warten

  • Es ist schwer nachzuvollziehen, wie man glauben kann, dass wir in eine Welt vor den LLMs zurückkehren werden. Ich frage mich, ob das jemand seit Opus 4.5 nicht mehr benutzt hat.
    Für mich, der die Softwarebranche verlassen hat und nicht jede Woche 40 Stunden coden kann, ist agentische AI ein technologischer Sprung auf einer Stufe mit Suchmaschinen, Bulletin Boards und Compilern. Wenn ich Claude Code bitte, SMTP im Homelab einzurichten, eine Android-App von 2017 zu modernisieren und zu signieren oder GitHub-Action-Runner für mehrere Betriebssysteme und Architekturen zu konfigurieren, liefert es Ergebnisse, während ich das Geschirr spüle.
    Wer das als belanglos abtut, steckt eher in einer Psychose über die AI-Psychose. Selbst wenn die Modellintelligenz jetzt an eine Grenze stößt, ist das bereits eine Technologie, die das Spielfeld verändert
  • Keine Revolution verläuft genau so, wie sie geplant oder übertrieben wurde; sobald sie begonnen hat, entfaltet sie sich als Folge menschlichen Handelns, aber in einer Form, die Menschen nicht entworfen haben.
    Einzelne werden LLMs bei der Arbeit angemessen einsetzen und trotzdem viele Fehler machen, weil sie weder ihre eigene Arbeit noch das von anderen gewünschte Ergebnis richtig verstehen. Führungskräfte, die außer E-Mail, SMS und Telefon kaum Technik nutzen, werden weiter darüber reden, ohne die Technologie zu verstehen.
    Niemand kennt das Endergebnis, aber wenn man Claude nur 5 Minuten benutzt, ist es schwer vorstellbar, dass alle Büroarbeiten genauso bleiben wie früher
  • Schon als Teenager erschien mir die Singularität nicht plausibel. Warum sollten die Fähigkeiten von AI, die auf von Menschen entworfener Hardware und Software läuft, plötzlich astronomisch steigen?
    Selbst wenn sie dem menschlichen Gehirn gleichkäme, müsste ihre Effizienz um mehrere Größenordnungen steigen, um mit der Gesamtproduktivität der menschlichen Gesellschaft mitzuhalten und dann noch deren Entwicklungstempo zu überholen. Selbst wenn die AI-Singularität möglich ist, könnte die Beschleunigung ein ganzes Leben dauern
  • Die Singularität ist nur eine von mehreren Möglichkeiten, die einige bekannte Persönlichkeiten vorgeschlagen haben. Es gibt sehr viele Wege, auf denen sich AI entwickeln kann, darunter viele Richtungen, die wir nicht erwarten
  • Du scheinst das Veränderungstempo viel zu hoch anzusetzen. Selbst die industrielle Revolution brauchte vom Newcomen-Dampfmaschinenmodell von 1712 bis zum massenproduzierten Auto Hunderte Jahre.
    Auch bei AI sind seit dem Turing-Test-Vorschlag von 1950 etwa 75 Jahre vergangen, bis Systeme auftauchten, die ihn bestanden zu haben scheinen, also sollte man ihr mehr Zeit geben

• Ich konnte den Abschnitt gut nachvollziehen, wonach „eine Organisation, die dich massenhaft 2.000-zeilige PRs mit schrecklichem AI-Code prüfen lässt, dich am Ende ausbrennen und entlassen wird — also such dir besser einen neuen Job, als wärst du schon gefeuert“. Je weiter sich agentische Entwicklung verbreitet, desto häufiger wird das wohl passieren

  • Wenn du für Engineering verantwortlich bist, solltest du das direkt mit Schulung, besseren Prozessen, automatischer Qualitätsprüfung und besserer Planung angehen. Sich die Ohren zuzuhalten und es abzulehnen, ist nicht nachhaltig.
    Man muss die Bedingungen finden und organisieren, unter denen sich der Durchsatz verdoppeln oder verdreifachen lässt, und sich auf die Engpässe und schwierigsten Teile konzentrieren. Das sage ich aus eigener praktischer Erfahrung

• Die Aussage „Alle AI-Projekte, die ich anderthalb Jahre lang beobachtet habe, sind gescheitert, also liegt die Erfolgsquote bei 0 %“ ist so überzogen, dass sie an Glaubwürdigkeit verliert. Unter AI fällt ein sehr breites Spektrum, von Expertensystemen über LLMs, Transformer und Diffusionsmodelle.
  Produktivitätssteigerungen sieht man bei semantischer Suche, bei der Content-Erzeugung mit Diffusionsmodellen und sogar bei linearer Regression im Kontext überwachtem Lernens. Selbst wenn man es auf die Transformer-LLMs eingrenzt, die das jüngste Interesse neu entfacht haben, waren kleine Projekte zur Automatisierung einfacher, langweiliger Aufgaben meistens erfolgreich.
  Ambitionierte Projekte, die mehr verlangen, als die Modelle leisten können, scheitern leicht und das ist meist im Voraus absehbar, aber ein Teil der Vorhaben an der Grenze des Möglichen sind legitime Forschungs- und Entwicklungsprojekte

  • In der Fußnote steht, dass sie AI-Projekte, für die um Begutachtung gebeten wurde, zu 100 % abgelehnt haben. Auf ihrer Website verkaufen sie Beratung zur Rettung angeschlagener Projekte und werben außerdem mit „alten Techniken“, die sie aus Büchern von vor 2000 gelernt haben.
    Das ist Selection Bias: Sie werben nur bei Firmen, die ohne internes Fachwissen bereits scheitern, und schreiben dann, dass alle Projekte, die sie gesehen haben, gescheitert sind. Da sie sogar Unterstützung ablehnen, blockieren sie auch jede Chance, dass daraus Erfolgsfälle werden
  • Der Autor arbeitet generell viel mit Übertreibung. Schon frühere Titel lauteten etwa „I Will Fucking Dropkick You If You Use That Spreadsheet“(https://ludic.mataroa.blog/blog/i-will-fucking-dropkick-you-...) und „I Will Fucking Piledrive You If You Mention AI Again“(https://ludic.mataroa.blog/blog/i-will-fucking-piledrive-you...).
    Offenbar mag er höfliche Corporate-Sprache nicht, aber ich mag diesen Stil, und oft bringt er aufschlussreiche Perspektiven, die sich gegen die Branchenkonventionen stellen
  • Mit Behauptungen über Produktivitätssteigerungen sollte man sehr vorsichtig sein. Auch wenn ein Teil des Workflows schneller wird, kann dadurch ein anderer Teil langsamer werden, und ein gesamthafter Zugewinn ist bisher noch nicht empirisch gemessen und verifiziert.
    Metriken wie Codezeilen, Unit-Tests, Dokumentation oder PR-Geschwindigkeit sind gestiegen, aber der tatsächliche Geschäftsnutzen ist unklar. Mehr PRs können Releases beschleunigen, aber auch Reviews verzögern oder durch Bugs die User Experience ruinieren. Wie mehr Code konkret in mehr Umsatz übergeht, sagen die Unternehmen nicht
  • Es ist ein großer Unterschied, ob einzelne Mitarbeitende ihre Produktivität mit Claude Code oder Codex steigern, oder ob ein Unternehmen AI-Projekte verfolgt, indem es maßgeschneiderte Software auf LLMs aufbaut.
    Ersteres liefert Softwareingenieuren relativ leicht nützliche Ergebnisse, solange sie die Technik nicht aktiv ablehnen. Letzteres ist sehr schwierig, weil man auf dem merkwürdigen Fundament von LLMs aufbauen muss, und offensichtliche Projekte wie interne Chatbots führen leicht zu zu großen Versprechen und enttäuschenden Ergebnissen

• Ich habe in zwei völlig unterschiedlichen Unternehmen auf entgegengesetzten Seiten der Erde gesehen, wie das Management externe Dokumente mit großen rechtlichen und finanziellen Folgen von LLMs verfassen lassen wollte. Es heißt zwar immer, ein Experte lese sie vor dem Versand und prüfe die Fakten, aber Menschen, deren Fachgebiet nicht Redigieren und Faktenprüfung ist, sind beim Überprüfen erfahrungsgemäß deutlich nachlässiger, als wenn sie den Text von Anfang an korrekt selbst schreiben

• Anekdoten wie diese sind großartig: Man müsse „die komplette Kopie des Go-Repositorys in Zig neu schreiben lassen, während man etwas anderes macht, um seinen Job zu behalten“, oder ein Kunde aus dem Management behaupte eine 100-fache Produktivität, und wenn eine Führungskraft des Lieferanten sagt, das sei unrealistisch, könne das das Vertrauen des Kundenmanagements in dessen Führung beschädigen und einen Unternehmensvertrag platzen lassen

• Es heißt zwar, die „Erfolgsquote aller beobachteten AI-Projekte liege bei 0 %“, aber es gibt keine Definition von AI-Projekten. Geht es darum, Software von Grund auf zu schreiben, darum, dass Nicht-Entwickler intern oder extern LLM-Chatbots nutzen, oder um etwas anderes? Es braucht konkrete Beispiele

  • Da dieses Unternehmen Datenprojekte durchführt, scheint es im Kontext um die Automatisierung interner Arbeitsabläufe und konversationelle Interfaces zu gehen
    Der Kritik im Stil von des Kaisers neuen Kleidern an der Arbeitsautomatisierung stimme ich voll zu, aber es überrascht, dass positive AI-unterstützte Engineering-Arbeit für viele gar nicht behandelt wird. Auch Chatbots können erfolgreich sein, wenn der Problemumfang eingegrenzt und die Auswahl passend getroffen wird. Ein früheres Unternehmen erzielte gute Ergebnisse mit einem konversationellen Interface für eine Vektordatenbank, aber der eigentliche Kern war die Vektordatenbank, und ein traditionelles UI wäre möglicherweise schneller und genauer gewesen
    Insgesamt ist die Stoßrichtung des Artikels überwiegend richtig, besonders der Teil über den AI-Hype und unrealistische Erwartungen, die das Top-Management erfasst haben
  • Sie betreiben eine Beratungsfirma namens „Hermit Tech“ und werben auf ihrer Website mit „alten Techniken“ aus Büchern von vor 2000. Bei so einer Haltung wirkt es nur natürlich, dass sie alles rund um AI hassen, und es erscheint auch unwahrscheinlich, dass ein ernsthaftes Unternehmen ihnen Unterstützung bei AI-Projekten anvertrauen würde
  • Nützliche AI-Anwendungen werden eher geräuschlos in bestehende Workflows integriert, während nur überzogene Großvorhaben für Nicht-Techniker als AI-Projekte oder „AI-Initiativen“ bezeichnet werden und dann scheitern

• Meine Erfahrung mit Claude beim Schreiben von fortgeschrittenem SQL- und Python-Code passt nicht zu den Behauptungen des Artikels. Einen wirklich überzeugenden Chatbot zum Abfragen von Daten in natürlicher Sprache habe ich zwar nicht selbst gesehen, aber bei sehr komplexen Abfragen kam ich mit natürlicher Sprache auf 80–90 %
  Unternehmen, die mit AI ihren Wettbewerbern voraus sind, setzen sie vermutlich still und leise ein, ohne groß darüber zu reden. Der Artikel zielt auf Großunternehmen voller Manager, und solche Organisationen haben sich schon vor AI bei Data Science, Analytik oder Blockchain genauso verhalten

  • In Großunternehmen gibt es womöglich mehr Menschen, die mit LLMs Wert zerstören, als solche, die Wert schaffen. Früher verschwendete Bob nur die Zeit einer Person, jetzt kann er die Zeit der ganzen Organisation verschwenden
    Jeder kann mit LLMs schlechte Ideen plausibel verpacken, sodass die ganze Organisation der falschen Idee eines durchschnittlichen Vice President folgt und enorme Produktivitätsverluste entstehen können
  • Mit den Übertreibungen des Artikels stimme ich nicht überein, aber die grobe Richtung passt. AI ist hervorragend bei kleinen Aufgaben und Routinearbeit, etwa wenn eine komplexe Abfrage, die früher eine Stunde dauerte, in Sekunden erstellt wird
    Die Entwicklung von Funktionen dauert weiterhin ähnlich lang oder Produktivitätsgewinne bleiben begrenzt. Das scheint daran zu liegen, dass die meisten Organisationen den Bau von Software grundsätzlich chronisch schlecht beherrschen

• Letzte Woche bekam ich an zwei verschiedenen Orten Umfragen dazu, wie AI bei der Arbeit eingesetzt wird; beide waren Multiple-Choice-Fragen, bei denen 0 Auswahlmöglichkeiten nicht erlaubt waren, und als Pflichtfrage eingerichtet

• Ob die Einführung von AI in Unternehmen tatsächlich enorme Produktivitätssteigerungen bringt, weiß ich nicht, aber für Schaufelverkäufer wie Nvidia und Anthropic ergibt das vollkommen Sinn

• Selbst wenn man ausspricht, dass der Kaiser nackt ist, stoppt das den Hype nicht. Nicht nur der Tulpenwahn des 17. Jahrhunderts, sondern auch agile Prozesse, Arbeitszeiterfassung und Produktivitätsmessung nach Codezeilen sind ähnlich; Unternehmen wiederholen in jeder Epoche neue kollektive Hypes
  Ausgelöst wird das durch die Prozessorientierung von Beratungsprofis, übermäßige Kontrolle durch Sicherheitsverantwortliche, die Angst, zurückzubleiben, und Präsentationsziele, wie ein modernes AI-basiertes Unternehmen auszusehen. Kunden, Unternehmen, Lieferketten, Regierungen und Vordenker tanzen alle in diesem weltweiten Tanz mit; irgendwann wird die Musik wechseln, und der Tanz wird sich ändern

  • Solche Hypes könnte man auch Herdenverhalten oder Massenpsychologie nennen. Die Weisheit der Masse ist weitaus seltener als ihre Dummheit und ihr Wahnsinn
    Business und Politik werden meist davon gesteuert, und auch die Tech-Branche verfällt immer wieder Trends, Übertreibungen und jahrzehntelangen Fehlentscheidungen, die im Nachhinein offensichtlich wirken
  • Die richtige Frage lautet, wie man mit dem Hype anderer Geld verdienen kann