Ist die Zukunft von allem eine Lüge? – Teil 5: Ärgernisse

• Während Unternehmen LLM-basierte Chatbots zur Automatisierung des Kundensupports einführen, wird der Zugang zu menschlicher Beratung eingeschränkt, und falsche Antworten sowie Fehler werden alltäglich.
• Diese Systeme funktionieren je nach wirtschaftlicher Schicht unterschiedlich: Normale Kundinnen und Kunden bleiben in automatisierten Antworten gefangen, während nur hochpreisige Kundschaft menschlichen Support erhält.
• LLMs breiten sich auf Bereiche mit uneindeutigen Urteilen wie Versicherungsprüfung und Preisgestaltung aus, sodass Menschen mehr Zeit auf Streit und Überzeugungsarbeit gegenüber Maschinen verwenden.
• Die unklare Verantwortlichkeit und soziale Voreingenommenheit von ML-Systemen führen zu realen Schäden wie ungerechtfertigter Inhaftierung und Fehlidentifikationen; durch die komplexe Struktur ist Rechenschaft schwer einzufordern.
• Wenn sich Agentic commerce verbreitet, bei dem LLMs Zahlungen und Käufe automatisieren, könnten Manipulation, Betrug und Kostenabwälzung zunehmen und sich eine „Ungleichheit der Ärgernisse“ verfestigen.

---

Die Unannehmlichkeiten der Automatisierung im Kundenservice

• Unternehmen verlagern Anfragen auf LLM-basierte Chatbots, um Kosten im Kundensupport zu senken, und die Verbindung zu menschlichen Support-Mitarbeitenden wird immer schwieriger.
  • Durch Fortschritte bei Sprachmodellen könnte auch telefonischer Support automatisiert werden.
  • LLMs liefern höfliche und geduldige Antworten, wiederholen jedoch Lügen und Fehler und verzögern dadurch die Problemlösung.
• Diese Systeme funktionieren je nach wirtschaftlicher Schicht unterschiedlich.
  • Hochpreisige Kundschaft hat weiterhin Zugang zu menschlichen Support-Mitarbeitenden, während normale Kundinnen und Kunden im Dialog mit LLMs feststecken.
• LLMs sind anfällig für Unvorhersehbarkeit und Injection-Angriffe und haben daher nur begrenzte Befugnisse, außerhalb des Systems zu handeln.
  • Für einfache Probleme sind sie nützlich, bei komplexen Verwaltungsfehlern oder systemischen Problemen lösen sie jedoch eher Frustration aus.

Streit mit dem Modell

• LLMs breiten sich über den Kundensupport hinaus auf mehrdeutige Aufgabenbereiche wie Versicherungsprüfung, Preisgestaltung und rechtliche Entscheidungen aus.
  • Kosteneffizienz hat Vorrang vor Genauigkeit; wenn Fehlentscheidungen auftreten, das Gesamtsystem aber profitabel bleibt, wird es unverändert beibehalten.
• Dieses Umfeld verursacht eine neue Form verschwendeter Arbeit.
  • Ein typisches Beispiel ist die algorithmische Preisgestaltung, bei der Flugticketpreise je nach Browser, Gerät oder Konto unterschiedlich ausfallen.
  • Ärztinnen und Ärzte müssen bestimmte Formulierungen lernen, um die LLMs von Versicherern zu überzeugen, und Verbraucherinnen und Verbraucher müssen ihr Aussehen an die Kameraerkennung anpassen.
• Einzelne Menschen werden mehr Zeit auf Streit mit Maschinen verwenden.
  • LLMs gleichen einem „chinesischen Zimmer“, das Antworten erzeugt, ohne wirklich zu verstehen, und dem menschliches Verständnis fehlt.
  • Künftig könnten Inhalte mit Tipps für den Umgang mit Maschinen wie „8 Gemüsesorten, die deine Versicherungsprämie senken“ überhandnehmen.
• Menschen nutzen LLMs auch als Werkzeug gegen Bürokratie.
  • Persönliche LLMs entstehen, die Widersprüche gegen abgelehnte Versicherungsansprüche, Kündigungen von Abos und Preisverhandlungen automatisieren.
  • Die Asymmetrie zwischen Unternehmen und Einzelpersonen bleibt jedoch bestehen, und Einzelne müssen das finanzielle Risiko von Fehlfunktionen der LLMs tragen.

Die Verteilung von Verantwortung

• Zitiert wird eine interne IBM-Richtlinie von 1979: „Computer können keine Verantwortung übernehmen und sollten daher keine Managemententscheidungen treffen.“
• ML-Systeme führen zu Fällen, in denen unschuldige Menschen geschädigt werden.
  • Der Fall, in dem Angela Lipps wegen eines Fehlers bei der Gesichtserkennung vier Monate lang zu Unrecht inhaftiert war.
  • Ein Fall, in dem eine Überwachungskamera die Snacktüte von Taki Allen für eine Schusswaffe hielt und bewaffnete Polizei ausrückte.
• Diese Vorfälle werden nicht als bloßes technisches Versagen, sondern als Versagen soziotechnischer Systeme analysiert.
  • Fehlendes menschliches Urteil, Verfahrensfehler und Brüche zwischen Organisationen wirken dabei zusammen.
• ML-Modelle verpacken soziale Voreingenommenheit als statistische Objektivität.
  • Beispiele sind die Unterschätzung der Kreditwürdigkeit schwarzer Kreditnehmender, die Einschränkung medizinischer Versorgung für Frauen und die Fehlidentifikation schwarzer Gesichter.
  • Die Intransparenz und selbstwidersprüchlichen Erklärungen der Modelle verzerren das Urteil von Prüfenden.
• Große Modelle werden unter Beteiligung zahlreicher, voneinander getrennter Arbeitskräfte und Organisationen erstellt, wodurch die Verantwortlichkeit unklar wird.
  • Sie bestehen aus einer mehrschichtigen Struktur aus Krankenhäusern, Versicherern, Modellanbietern, Datenlieferanten und ausgelagerten Arbeitskräften.
  • Dadurch werden das individuelle Verantwortungsbewusstsein und die Möglichkeit zur Korrektur geschwächt.
• Es ist zu erwarten, dass die Zahl der Opfer automatisierter Entscheidungen zunimmt, etwa bei Unfällen mit autonomen Fahrzeugen oder Entlassungen nach Copilot-gestützten Personalbewertungen.
  • Unternehmen reagieren mit Bußgeldern oder Vertragsanpassungen, doch Verantwortung auf individueller Ebene lässt sich schwer einfordern.
• Das ist ein strukturelles Problem des modernen Ingenieurwesens insgesamt: Je komplexer ein System ist, desto schwieriger ist es, die Ursache eines Unfalls zu ermitteln.
  • Eine Komplexität, die sonst groß angelegte Untersuchungen wie bei Flugunfällen erfordert, breitet sich auch auf alltägliche Entscheidungen aus.

Marktmechanismen und „Agentic Commerce“

• Agentic commerce bezeichnet ein Konzept, bei dem LLMs die Zahlungsmittel der Nutzerinnen und Nutzer stellvertretend verwalten und automatisch Einkäufe ausführen.
  • LLMs automatisieren Preisvergleiche, die Verlängerung von Versicherungen und die Erneuerung von Abos und entfernen dadurch Zwischenstufen im Vertrieb.
• McKinsey erwartet einen Rückgang menschenzentrierter Werbung und skizziert das Einfügen von Werbung in Chatbots sowie Verhandlungsstrukturen zwischen LLMs.
  • Das schafft jedoch starke Anreize, das Verhalten von LLMs zu manipulieren.
• Werbung für LLMs und Wettbewerb um SEO-Manipulation könnten sich zu einer neuen Form des algorithmischen Kriegs entwickeln.
  • Mit bestimmten Pixeln, Schriftarten oder Farben könnte versucht werden, Reaktionen von LLMs zu steuern, oder durch die Verunreinigung von Trainingsdaten Verkäufe zu fördern.
  • Plattformen wie OpenAI etablieren eine Struktur, in der sie als Vermittler zwischen Produzenten und Konsumenten auf beiden Seiten Einnahmen erzielen.
• Automatische Verhandlungen zwischen LLMs bergen das Risiko, zu einem wechselseitigen Schlagabtausch aus „Dark Patterns“ zu verkommen.
  • Durch falsche Signale, Injection-Angriffe und übermäßige Transaktionslogs könnten chaotische Interaktionen entstehen.
• Einige Forschungseinrichtungen sagen einen Übergang zu kryptobasierten Zahlungen voraus, doch das könnte Fehler-, Betrugs- und Rückerstattungsprobleme verschärfen.
  • Wenn ein LLM einen falschen Kauf tätigt, entsteht Unklarheit darüber, wer verantwortlich ist.
  • Es ist zu erwarten, dass sich komplexe Streitstrukturen zwischen Zahlungsdienstleistern, Banken und LLMs bilden.
• Diese Unsicherheit könnte zu höheren Zahlungsgebühren und steigenden Kosten für Betrugsprävention führen.
  • Am Ende würden gewöhnliche Verbraucherinnen und Verbraucher die Risikokosten mittragen.
• Verbraucherinnen und Verbraucher könnten gezwungen sein, Fake-Profile und Automatisierungstools zu nutzen, um LLMs auszutricksen oder mit ihnen zu verhandeln.
  • Das führt zu Ermüdung und Ineffizienz, doch wenn der gesamte Markt LLMs übernimmt, könnte sich daraus eine unausweichliche Struktur verfestigen.
  • Nur Wohlhabende würden weiterhin menschenzentrierte Dienste erhalten, und die „Ungleichheit der Ärgernisse“ würde sich verschärfen.

[GN⁺]

Hacker-News-Kommentare

• Ich muss nicht 1000 Transaktionen am Tag durchführen
  Ich glaube nicht, dass es ein tödlich nerviger Umstand wäre, jeden Kauf genehmigen zu müssen
  Ich würde meine Kreditkarte auf keinen Fall einem LLM anvertrauen. Wegen struktureller Probleme wie Injection-Schwachstellen
  Auch künftigen AI-Architekturen werde ich aus demselben Grund nur schwer vertrauen können
  Allerdings ist so etwas wie die Automatisierung des Kundensupports am Ende wohl unvermeidlich

  • Mich hat gestört, dass der Artikel das Streiten mit Maschinen als etwas Neues und Nerviges darstellt
    Schon jetzt drücke ich jedes Mal die 0, wenn ich bei der Costco-Apotheke anrufe, um der IVR-Hölle zu entkommen
    Am Ende profitieren von solchen Systemen nur Aktionäre und das Management

• Die heutige Welt fühlt sich immer stärker so an, als würde sie sich um Manipulation und das Fehlen von Wahrheit drehen
  LLMs sind eine erstaunliche technische Leistung, aber das Problem ist, dass sie auf eine Weise eingesetzt werden, die Klassenunterschiede vergrößert
  In Zukunft werden weder Großkonzerne noch Staaten noch LLMs etwas sein, dem man vertrauen kann
  Wir müssen uns wieder um Gruppen und Gemeinschaften, denen wir vertrauen können, herum organisieren

  • Technologie ist nicht neutral. Wird sie ohne strukturelle Beschränkungen eingesetzt, verliert man die Kontrolle
  • Dass die Welt sich um Manipulation dreht, war schon früher so. Früher war das sogar einfacher, weil die Verbreitung von Informationen teurer war
  • Ich stimme der Aussage zu, dass wir vertrauenswürdige Gemeinschaften aufbauen sollten, aber letztlich haben öffentliche Institutionen, die Gesellschaft und eine bürgerliche Regierung diese Rolle früher erfüllt
    Das Problem waren nicht die Institutionen, sondern die Verschmutzung des Umfelds. Die Aufmerksamkeitsökonomie sozialer Netzwerke hat Vertrauen zerstört
  • Die Gesellschaft vor dem Internet hat Systeme aufgebaut, um Vertrauen zu verwalten, aber heute ist die Anreizstruktur völlig anders
    Informationsverschmutzung betrifft alle, und letztlich steuern wir auf ein von Bots dominiertes Informationsökosystem zu
    Selbst wenn Menschen und Bots gemeinsam teilnehmen, werden regelbasierte Interaktionen wichtiger werden
  • Wir brauchen lokale Modelle, leistungsfähige Consumer-Hardware und eine Öffentlichkeit, die STEM nicht ablehnend gegenübersteht
    Aber der Shareholder Value will das nicht. Letztlich müssen wir uns innerhalb des Widerspruchs aus steigenden Kosten und Technologiefindlichkeit weiterentwickeln

• Mein Vater hat mit Hilfe von AI die Batterie seines Autoschlüssels gewechselt und war sehr zufrieden
  Auch zu Versicherungsbedingungen hat er AI befragt und bessere Ergebnisse bekommen als bei eigener Suche
  Ich selbst frage bei einfachen Fragen inzwischen eher AI als Google
  In den meisten Fällen ist AI „gut genug“ und oft sogar besser
  Den Leuten ist egal, ob das nur ein Token-Prädiktor ist. Hauptsache, das Ergebnis stimmt

  • Aber all das war auch früher schon möglich. Man ist nur zu LLMs gewechselt, weil die Suchqualität kaputtgegangen ist
    Es wirkt, als würden Unternehmen Probleme schaffen und dann die Lösung verkaufen
  • Das Problem ist, dass so etwas inzwischen auch im medizinischen Umfeld passiert. Es gab sogar Fälle, in denen Pflegekräfte einem AI-Snippet blind vertraut und Impfungen verabreicht haben

• Aus meiner Erfahrung in der Zusammenarbeit mit Kundensupport-Teams ist das Ziel technischer Verbesserungen immer, die Zahl der Tickets zu senken und Kosten zu sparen
  Die Zufriedenheit wird zwar auch gemessen, aber entscheidend ist das Ticket-Volumen
  Schon vor LLMs wurden Chatbots aus genau diesem Grund eingesetzt
  Allerdings dient der Kundensupport auch als Frühwarnsystem eines Unternehmens. Wenn man die menschlichen Kontaktpunkte reduziert, wird es schwieriger, das Leiden der Nutzer zu erkennen

  • Wenn man den Support von Amazon und Chewy vergleicht, ist der Unterschied groß. Bei Amazon ist es schwer, einen Menschen zu erreichen, bei Chewy antwortet sofort ein Experte
  • Der Chatbot meines ISP konnte das Problem nicht lösen und ich wurde an einen Menschen weitergeleitet, aber auch der hat nur LLM-Copy-paste betrieben
  • In dem Moment, in dem ich mit einem Chatbot reden muss, bin ich bereit, zu einer anderen Versicherung zu wechseln

• Das erinnert mich an den IBM-internen Schulungssatz von 1979: “A COMPUTER CAN NEVER BE HELD ACCOUNTABLE”
  Das erklärt, warum man heute ständig hört: „Der Computer sagt nein“
  Wenn ein Manager Verantwortung vermeiden will, muss er die Entscheidung nur an den Computer delegieren
  Letztlich verstärkt AI die Automatisierung der Verantwortungsvermeidung

  • Die ursprüngliche Bedeutung war aber die entgegengesetzte. Ein Computer kann keine Verantwortung tragen, also müssen Managemententscheidungen von Menschen getroffen werden
  • Das erinnert an das YouTube-Meme-Video „computah says noooooo“

• Am meisten Sorgen macht mir die Verteilung und Verwässerung von Verantwortung
  Schon heute funktionieren mittelgroße Organisationen nach solchen Mustern, und LLMs werden das wohl noch verschlimmern

  • Am Ende kommt vermutlich eine Zeit, in der man LLMs mit LLMs bekämpfen muss. Eine Welt, in der die automatisierte Seite gewinnt

• Ich habe die Artikelserie von Aphyr an Freunde geschickt und als Antwort kam: „Fass mal zusammen“
  Freunde, mit denen ich früher tiefgehende Diskussionen geführt habe, schicken jetzt nur noch AI-Zusammenfassungen und führen oberflächliche Gespräche
  Die abnehmende Aufmerksamkeitsspanne ist deutlich spürbar

  • Vielleicht waren sie von Anfang an gar nicht so klug
    Viele Menschen haben vielleicht einfach Wissen imitiert, indem sie „smarte YouTube-Videos“ zitiert haben
  • Ich hatte eine ähnliche Enttäuschung. Deshalb habe ich mit einigen Freunden einen E-Mail-Briefwechsel begonnen
    Lange Texte auszutauschen und tiefgehende Gespräche zu führen war viel frischer und bedeutungsvoller
  • Natürlich haben beschäftigte Menschen andere Prioritäten, als Zeit für eine achtteilige Abhandlung aufzubringen
  • Aphyrs Text ist mir zu negativ und pessimistisch, deshalb kann ich mich damit nicht identifizieren.
    AI steckt noch in einer frühen Phase, und jede Woche erscheinen neue Forschung und neue Modelle. Die Zukunft ist noch offen
  • Der Aussage, dass man Freunden keine AI-Zusammenfassungen schicken sollte, stimme ich voll zu

• Es wurde ein archive.is-Link geteilt

  • Dann kam die Frage auf, warum man nicht direkt Aphyrs Website besucht

• Die Idee eines „Boykotts mit persönlichem Modell, das das Modell von Burger King mit Token verschwendet“ ist interessant

  • Aber gegen CPU-Verschwendung zu protestieren ist unproduktiv. Unternehmen werden das als Vorwand nutzen, um den Kundenservice ganz abzuschaffen
  • Menschen, die AI ablehnen, sind bereits eine vom System ausgeschlossene Schicht. Ihre Stimme erreicht die Medien nicht
    Deshalb habe ich beschlossen, mich einfach mit den „Herrschern der Trillionen Parameter“ abzufinden

• Aphyrs Text ist interessant, wirkt aber wie ein typisch amerikanischer Tonfall
  Das Muster lautet: „Das ist schlecht → Unternehmen werden es ohne Regulierung missbrauchen → wir sind verloren“
  Aber sobald man vorschlägt, tatsächlich Gesetze (law) zu machen, weichen alle zurück
  Die USA waren schon immer so. Unternehmen beuten aus, wenn es keine Regulierung gibt
  Selbst wenn kurzfristig weniger Geld verdient wird, ist eine regulierte Gesellschaft langfristig lebenswerter

  • Das Problem ist nicht, dass Menschen Regulierung hassen, sondern dass Reiche und Unternehmen die Gesetze manipulieren
    Eine Verfassungsänderung wäre nötig, ist in der heutigen politischen Struktur aber nahezu unmöglich
  • Die Vorstellung „Früher war alles wahrhaftig und heute ist alles nur noch Lüge“ ist eine Illusion
    Schon früher gab es zahllose Betrüger und Schlangenölverkäufer
    Vertrauen entsteht letztlich nur durch wiederholte Beziehungen. Online ist das unmöglich
    In Zukunft wird Markenvertrauen wohl noch wichtiger werden
  • Wenn Regulierung kommt, sinken die Einnahmen von Tech-Beschäftigten. Deshalb erkennen zwar alle das Problem, schieben es aber als Sache anderer weg
  • Dann kam die Frage auf: „Welche Regulierung würdest du denn konkret vorschlagen?“
  • Wer nach Regulierung ruft, sagt letztlich auch, dass man unvollkommenen Politikern Macht geben soll
    Und das führt manchmal dazu, dass man hinter andere Länder zurückfällt