Die kollektive LLM-Wahnvorstellung an unserem Arbeitsplatz

• Erfahrungsbericht aus einem Arbeitsplatz mit Finanznot, an dem die Budgets für Kernaufgaben gekürzt werden, während paradoxerweise Geld für die Einführung von AI fließt
• Über Jahre wurden Boni gestrichen sowie Personal, Lizenzen und Datenbanken gekappt, doch Ausgaben für Berater, LLM-Workshops und Lizenzen für ChatGPT und Copilot wurden sofort genehmigt
• In unternehmensweiten Meetings mit Hunderten Teilnehmenden probierten verschiedene Teams LLM-Projekte aus, doch nicht ein einziges war erfolgreich
• Die vorgestellten allgemeinen Use Cases beschränkten sich auf sinnlose oder riskante Dinge wie den Bot nach seiner Stimmung zu fragen, eine einseitige Mittagskarte zusammenfassen zu lassen oder verdächtige E-Mails in ChatGPT hochzuladen
• Das wird als außer Kontrolle geratene kollektive Wahnvorstellung beschrieben und als Moment des Vertrauensbruchs bewertet, in dem sichtbar wurde, dass Dinge, die bei entsprechendem Willen der Führung möglich gewesen wären, bislang absichtlich blockiert wurden

---

Widersprüchliche Finanzlage und Hintergrund der AI-Einführung

• Der Arbeitgeber steckt in chronischer Finanznot, und unbesetzte Stellen werden nicht nachbesetzt, sondern verschwinden einfach
  • Vor zwei Jahren wurden die Boni für gute Mitarbeitende dauerhaft gestrichen
  • Unverzichtbare Ressourcen wurden gekürzt, verbunden nur mit der Ansage: "Findet selbst eine Lösung"
  • Mehrere Abteilungen sind ohne Neueinstellungen überlastet, und zur Kostensenkung wurden wichtige Lizenzen und Datenbanken abgeschafft
• Vor diesem Hintergrund wurden nur AI-bezogene Ausgaben ausnahmsweise bewilligt
  • Geld für die Beauftragung von Beratern, die zum "All-in" raten, war vorhanden
  • Geld für mehrjährige externe LLM-Workshops und Seminare war vorhanden
  • Geld für Lizenzen sowohl für ChatGPT als auch für Copilot war vorhanden
• Es wird kritisiert, dass Boni für Mitarbeitende und Mittel zur Unterstützung der eigentlichen Arbeit an Betrüger, Sicherheitsrisiken, nutzlose Workshops und Tech-Faschisten fließen

Das vollständige Scheitern unternehmensweiter LLM-Projekte

• Es fanden wiederkehrende Meetings statt, in denen Abteilungen LLM-Projekte registrierten, pilotierten und anschließend die Ergebnisse präsentierten
• Obwohl an allen Meetings teilgenommen wurde, gab es keinen einzigen tatsächlich erfolgreichen Fall
  • Hunderte Menschen, mehrere Teams, AI-begeisterte Personen und Projekte aller Art waren beteiligt
  • Alle Projekte endeten mit "funktioniert nicht", "spart keine Zeit" oder "macht es eher komplizierter"
• Selbst mit Workshops, "Prompt Engineering", Custom GPTs sowie vorbereiteten Dokumenten und Templates ließ sich kein reproduzierbarer Effekt erzielen (nicht im Coding-Bereich)
  • Jedes Mal war es ein schmutziges Glücksspiel, und für Feintuning, Wiederholungen, Prüfung der Ausgaben und Fehlerkorrekturen ging viel Zeit drauf
  • Die größten Beschwerden waren fehlende Berücksichtigung bestimmter Dokumente, Halluzinationen und die Unfähigkeit, Dokumente korrekt auszufüllen oder zu bearbeiten
  • Selbst mit Enterprise-Lizenzen waren die Einschränkungen zu groß

Vorführung sinnloser allgemeiner Use Cases

• Es gab auch Präsentationsmeetings zu allgemeinen Use Cases für Alltagsaufgaben, unabhängig von konkreten Projekten
• Die Funktion, den Bot ernsthaft zu fragen: "Wie fühlst du dich heute?", wurde ernsthaft demonstriert
  • Das war weder als Witz noch als Satire gemeint, sondern wurde als futuristisch und menschlich präsentiert
  • Vor fünf Jahren hätte ein Vorschlag, für Tausende Dollar im Abo sinnlose Gespräche mit einem Bot zu führen, Gelächter ausgelöst, und genau diese Reaktion sei immer noch richtig
• Es wurde demonstriert, wie man die einseitige Kantinenkarte im Intranet (eine Excel-Tabelle) in ChatGPT hochlädt und dann fragt, was es am Mittwoch zu Mittag gibt
  • Die Antwort des Bots war länger, als das ganze Blatt selbst zu lesen
  • Das Herunterladen, Hochladen und Schreiben des Prompts dauerte länger, als die Tabelle direkt zu lesen
  • Für Informationen, die auf einen Blick erfassbar sind, ist ein Bot überflüssig
• Ein IT-Verantwortlicher empfahl persönlich, Spam-, Phishing- oder verdächtige E-Mails mitsamt Anhängen auf dem Desktop zu speichern und dann zur Prüfung in ChatGPT hochzuladen
  • Kritisiert wird das Risiko, technisch weniger versierte Mitarbeitende dazu zu bringen, verdächtige Dateien auf ihrem Arbeitslaptop zu speichern

Wie AI den Dunning-Kruger-Effekt verstärkt

• AI verstärkt den Dunning-Kruger-Effekt, sodass alles, was Menschen ausprobieren, intelligenter und berechtigter wirkt
  • Dadurch können sie banale und wertlose Aufgaben erledigen und zugleich so tun, als täten sie etwas Wichtiges und Bahnbrechendes
  • Technik-Evangelisten fühlen sich als Teil einer gewaltigen Revolution und stellen sich vor, dass Kritiker sich eines Tages entschuldigen werden
• Es wird die Sorge geäußert, dass verantwortungsvolle und kompetente Menschen ohne klaren Grund zu Werbern für AI-Unternehmen werden
  • Qualifizierte Personen sinken auf das Niveau von Haustürverkäufern herab, die die Wirkung eines Waschmittels verlogen anpreisen

Reiner Hype und Vertrauensbruch

• Obwohl es kein konkretes Problem zu lösen gibt und mindestens 90 % der Mitarbeitenden von Copilot und Ähnlichem gar nicht profitieren würden, wird die Einführung trotzdem forciert
  • Es werden Probleme erfunden, wo keine sind, und immer neue Versuche gestartet, um Tokens zu verbrauchen und Abos zu rechtfertigen
  • Das wird als bloße Schaufenstermaßnahme beschrieben, damit man nach oben sagen kann: "Wir haben es zumindest versucht"
• Jede Nutzung wird mit "Erkundung" und "Spiel" gerechtfertigt, wodurch Zeitverschwendung, Geldverschwendung und der Einfluss der Macht im Hintergrund kleingeredet werden
• Es werden Fragen zur Geschwindigkeit der AI-Einführung gestellt
  • In einer Organisation, die angeblich nie Geld hat, wurde eine instabile Technologie mit gewaltigen Anfangskosten sofort durchgewinkt
  • Neue Technologien, die den öffentlichen Sektor sonst eher umgehen, bekommen diesmal jede Aufmerksamkeit
  • Eine Organisation, in der Veränderungen sonst Jahre bis Jahrzehnte dauern, verfügte im Handumdrehen über AI-Infrastruktur und organisatorische Fähigkeiten
• Das sei der "Moment, in dem die Maske fiel" und sichtbar wurde, dass der langsame Wandel in der Organisation nicht der Normalzustand, sondern absichtliches Design war
  • Es wurde entlarvt, dass die Hindernisse nicht wesentlich, sondern willkürliche Lügen waren
  • Für Mitarbeitende wirkte das als Moment des vollständigen Vertrauensverlusts

Die Aufgabe für die Zukunft

• Aufgeworfen wird die grundlegende Frage, wie man darüber hinwegkommen soll, dass sich die Erwachsenen in einer zuvor respektierten Organisation im Namen des "Fortschritts" selbst blamiert haben
• Über Monate entstand eine Kultur, in der man sich durch das wiederholte Gaslighting fast fragte, ob man selbst verrückt sei
• Es wird erklärt, dass diese Erfahrung nicht vergessen werden kann, und sie wird als "mein zweites Corona" beschrieben
• Abschließend heißt es, man freue sich ehrlich für Menschen mit Arbeitsplätzen, an denen so etwas nicht passiert, und man applaudiere Branchen und Personen, die AI klug einsetzen und gute Ergebnisse erzielen
  • Da solche Situationen jedoch real seien, solle man die Erfahrung selbst nicht leugnen, damit man gemeinsam über diesen Wahnsinn sprechen könne

[cnaa97]

Selbst wenn es keine Ergebnisse gibt, ist es vielleicht ein Versuch, die Organisation irgendwie aufrechtzuerhalten und zu überleben ...

[brilliant08]

Wenn dieser Einsatz dann mit dem Hinweis bedacht wird, dass „das Geld an Betrüger, Sicherheitsrisiken, nutzlose Workshops und Tech-Faschisten fließt“, dann war es wohl kein gut investierter Einsatz.

[GN⁺]

Meinungen auf Lobste.rs

• Bei meinem Arbeitsplatz ist es nicht ganz so schlimm, aber die Richtung ist dieselbe. Für Neueinstellungen oder Gehaltserhöhungen ist kein Geld da, aber für Business-Consultants, riesige Enterprise-COTS-Softwarelizenzen und AI-Abos ist immer Geld vorhanden

  • Klingt, als würdest du in einer US-basierten Regierungsorganisation arbeiten. Außerhalb des Staatsapparats benutzt kaum jemand den Begriff COTS.
    Auch wenn man den kleinen Seitenhieb weglässt: Selbst in weniger verkrusteten Organisationen als Behörden ist es immer noch häufig leichter, Budget dafür zu bekommen, „Dinge zu kaufen“, als dafür, „Mitarbeitende zu bezahlen“

• Was der Autor beschreibt, ist eine Situation, in der das Management beim Betreiben des Geschäfts fast schon fatal inkompetent ist.
  Der Autor sollte sich einen neuen Job mit weniger inkompetentem Management suchen. Wenn das nicht geht, sollte er andere Maßnahmen für sein Überleben und seine psychische Gesundheit ergreifen

  • Ich habe vor ein paar Monaten von FAANG-Freunden ziemlich ähnliche Geschichten gehört. Damals war tokenmaxxing die offizielle Linie.
    Das heißt nicht, dass FAANG frei von fataler Inkompetenz wäre, sondern dass diese Haltung von „Oh, das fasst also E-Mails und den Mittagsplan zusammen?!“ viel weiter verbreitet ist, als man denkt

• Insgesamt würde ich sagen, dass meine Erfahrungen etwas positiver sind.

  1. Unverantwortlich eingesetzt richten Coding-Agenten in einer Codebase Schaden an. Für kleine Einmal-Prototypen oder als Ersatz für völlig schrottige SaaS sind sie okay, aber für ernsthafte Systeme taugen sie nicht. Claude Fable erzeugt dabei nur ein noch größeres Chaos.
  2. Um sie verantwortungsvoll zu nutzen, braucht es Selbstdisziplin und die richtigen Leute; dann können Coding-Agenten hilfreich sein. Der Engpass liegt aber weiterhin meist darin, dass Menschen den Code verstehen und die Erwartungen der Stakeholder in Einklang bringen müssen, daher ist das nicht so transformativ, wie viele denken. Wenn alles verschwinden würde, würde es mir trotzdem ein wenig fehlen. Ich möchte nicht selbst Testcode-Entwürfe gegen irgendwelche seltsamen Vendor-APIs schreiben.
  3. Bei vielen Aufgaben im Dokumenten-Data-Mining sieht man klar die Vorteile günstiger, massenhaft einsetzbarer LLMs, wenn man die Fehlerrate akzeptieren kann.
  4. Manager mögen vernünftigerweise günstige und gut funktionierende AI-Use-Cases.
     Wenn man allerdings an einem Flughafen vorbeikommt und die AI-Werbung sieht, die sich an Führungskräfte richtet, dann wird klar: Draußen ist die Lage wirklich übel
  • In mancher Hinsicht erinnert mich das an die Debatte statische Typisierung vs. dynamische Typisierung. Mit dem richtigen Team und genug Erfahrung kann man auch mit einer Sprache wie Clojure sehr produktiv sein, aber wenn Leute die Sprache missbrauchen und anfangen, sich besonders clever zu fühlen, kann daraus ein furchtbares, nicht wartbares Chaos werden.
    Der Einsatz von LLMs fühlt sich in dieser Hinsicht sehr ähnlich an. Wenn man versteht, was das Tool kann und wie man es effektiv einsetzt, spart es tatsächlich Zeit; wenn man aber nur möglichst schnell Code ausspucken will, endet es in einem Durcheinander, durch das sich kaum noch jemand durcharbeiten kann.