Überzeugungen, die bei normaler Software stimmen, bei künstlicher Intelligenz aber falsch sind

• Viele Menschen verstehen den Unterschied zwischen normaler Software und künstlicher Intelligenz falsch
• Die breite Öffentlichkeit neigt dazu, die Risiken von KI mit dem traditionellen „Bug“-Begriff klassischer Software zu missverstehen, was zu einer falschen Sicherheit bei der Problemlösung führt
• Fehler bei KI entstehen nicht im Code, sondern in den Trainingsdaten; aufgrund ihres enormen Umfangs kann der Mensch nicht erkennen, welche Daten ein Problem verursacht haben
• Anders als bei klassischer Software lassen sich Bugs nicht einfach finden, „beheben“ oder „reproduzieren“, und das Verhalten von KI ist nicht deterministisch; schon kleine Änderungen an der Eingabe können das Ergebnis verändern
• Spezifikationsbasierte Entwicklung ist nahezu unmöglich, und Fähigkeiten oder Risiken von KI lassen sich nicht im Voraus vorhersagen; manchmal werden unbeabsichtigte verborgene Funktionen erst später entdeckt
• Daher wirkt die bisherige IT-Denkweise „Wenn ein Problem auftritt, beheben wir es einfach“ in Diskussionen über KI-Sicherheit als fataler Irrtum

---

Die Grenzen des Wissens über normale Software

• Viele Menschen und Führungskräfte sind beim Risiko von Computersoftware überzeugt: „Problematischer Code (Bugs) lässt sich beheben“
• Über lange Zeit hat die Softwarebranche erfolgreich vermittelt, dass Code-Bugs der realen Welt schaden können
• Bei gewöhnlicher Software gibt es zwar Bugs, doch selbst in komplexen Systemen ist eine Behebung möglich
• Dieser Ansatz und diese Denkweise lassen sich jedoch nicht auf KI anwenden, was zu Verwirrung und Missverständnissen führt

Unterschiede in der Wahrnehmung zwischen Fachleuten und Nicht-Fachleuten

• Normale Software und KI-Software unterscheiden sich im Funktionsprinzip und in der Art, wie Probleme entstehen, grundlegend
• Fachleute halten diese Kluft oft für so selbstverständlich, dass sie sie nicht erklären, während Einsteiger den Unterschied selbst nicht erkennen
• Beide Seiten haben dadurch Schwierigkeiten in der Kommunikation miteinander

Überzeugungen aus der klassischen Softwarewelt, die fälschlich auf KI übertragen werden

• 1. Sicherheitslücken in Software entstehen durch Fehler im Code

  • Bugs in gewöhnlicher Software entstehen meist durch Fehler beim Schreiben des Codes
  • Bei KI stammen Schwachstellen oder Unvorhersehbarkeit jedoch fast immer aus den Trainingsdaten
  • Bei Datensätzen wie FineWeb ist es zum Beispiel unmöglich, Milliarden von Wörtern an Daten vollständig von Menschen erfassen zu lassen
  • Wegen der enormen Datenmenge, aus der KI lernt, ist es schwer vollständig zu verstehen, was genau gelernt wurde, und nahezu unmöglich, Risikofaktoren zu identifizieren

• 2. Durch Codeanalyse lassen sich Bugs finden

  • Bei traditioneller Software kann man den Code analysieren und die Ursache eines Bugs logisch zurückverfolgen
  • Probleme bei KI entstehen jedoch durch das komplexe Zusammenwirken der Trainingsdaten, sodass es praktisch unmöglich ist, die Ursache im Datenbestand zu finden
  • Forschende versuchen meist, Probleme durch erneutes Training oder zusätzliche Daten abzuschwächen, doch die eigentliche Ursache per logischer Nachverfolgung direkt aufzudecken, ist schwierig
  • Selbst die Entwickler kennen die Ursache eines KI-Bugs oft nicht genau

• 3. Wenn ein Bug behoben ist, taucht er nie wieder auf

  • Wird bei Software ein entdeckter Bug behoben, tritt derselbe Bug normalerweise nicht erneut in exakt derselben Form auf
  • Bei KI kann dasselbe problematische Verhalten jedoch auch nach einer „Behebung“ bei ungetesteten Eingaben erneut auftreten
  • Man kann nicht sicher sein, dass ein anomales Verhalten von KI vollständig beseitigt wurde

• 4. Dieselbe Eingabe liefert immer dasselbe Ergebnis

  • Normale Software gibt bei derselben Eingabe immer dieselbe Ausgabe zurück
  • Technisch gilt das auch für KI, aber schon winzige Änderungen an der Eingabe (etwa Satzzeichen) können das Ergebnis komplett verändern
  • Tatsächlich sind viele große KI-Unternehmen so konzipiert, dass dieselbe Prompt leicht unterschiedliche Ausgaben erzeugen kann, damit das System weniger mechanisch wirkt

• 5. Mit klaren Anforderungen lässt sich das gewünschte Verhalten erfüllen

  • Bei gewöhnlicher Software gibt es bei klaren Spezifikationen und Anforderungen einen Weg, diese zu erfüllen
  • Bei KI kann der Entwickler das insgesamt gewünschte Verhalten jedoch nicht klar kontrollieren oder garantieren
  • In begrenzten Bereichen (z. B. Englisch sprechen, Code schreiben) ist ein gewisses Maß an expliziter Kontrolle möglich, aber für sämtliches Verhalten (z. B. keine Förderung von Kriminalität) gibt es keine Garantie
  • Nach der Veröffentlichung eines KI-Dienstes werden verborgene Fähigkeiten oder Risiken, die selbst den Entwicklern unbekannt waren, mitunter zufällig entdeckt
  • Eine vollständige Garantie und Vorhersage von KI-Sicherheit ist unmöglich

Der Weg nach vorn

• Falsch verallgemeinertes Wissen über Software verzerrt das Vertrauen in KI und die Bewertung ihrer Risiken
• Es ist wichtig, Funktionsweise und Grenzen von KI sowie die Unterschiede zu normaler Software breit mit Kolleginnen und Kollegen zu teilen
• Die strukturellen Besonderheiten von KI, die vielen nicht bekannt sind, müssen erklärt werden, ebenso dass ein einfacher „Bugfix“-Ansatz hier nicht funktioniert

Die Verständniskluft zwischen Expertinnen, Experten und Einsteigerinnen, Einsteigern

• Falls dieser Text Ihnen zum ersten Mal den grundlegenden Unterschied zwischen KI und normaler Software verdeutlicht hat, teilen Sie den Inhalt gern mit Bekannten
• Wenn Sie diesen Unterschied bereits kannten, sprechen Sie einmal mit Laien oder Nicht-Fachleuten darüber
• Tatsächlich wissen nicht viele Menschen, dass sich beide in ihrem Wesen grundlegend unterscheiden

[GN⁺]

Hacker-News-Kommentare

• Wenn man verstehen will, welche Schwierigkeiten es tatsächlich gibt, LLMs sinnvoll einzusetzen, lohnt sich ein Blick auf Apple. Vor einem Jahr gab es die große Ankündigung von Apple Intelligence, mit starkem Fokus auf LLM-basierte Agent-Workflows, aber seitdem kamen nur ein paar kleinere Tools hinzu wie Emoji-Erstellung, Benachrichtigungszusammenfassungen oder Dokumentkorrektur. Sogar die Funktion zur Zusammenfassung von Benachrichtigungen war zeitweise so sehr „außer Kontrolle“, dass sie zurückgezogen werden musste zugehöriger Artikel. Auch beim diesjährigen iPhone-Event wurde das AI-Marketing deutlich zurückgefahren. Es wirkt, als habe das Apple-Management unterschätzt, wie schwer es ist, LLMs auf das für Apple typische Niveau bei Qualität und Kontrolle zu bringen

  • Vielleicht hat Apple ja AI zum Design von Liquid Glass verwendet. Beim ersten Anblick wirkte es beeindruckend, in der Praxis war es aber nicht benutzbar
  • Die Zusammenfassungen von Benachrichtigungen und E-Mails waren wirklich nutzlos. Ich hatte eher das Gefühl, dass es einfacher ist, die wichtigen Stellen selbst kurz zu überfliegen
  • Apple verfolgt jetzt offenbar eine Strategie, die sich mit MCP auf die Integration von Apple Events konzentriert zugehöriger Link
  • Dass diese Schwierigkeiten von LLMs unterschätzt wurden, gilt nicht nur für Apple, sondern für die gesamte Branche. Weil Führungspersonen wie Amodei bei jedem Release menschenähnliche Kognition versprechen, sind die AI-Erwartungen im Management stark aufgebläht. Realistisch betrachtet ist es aber bis heute schwer, außerhalb von Coding-Assistenten oder Chatbots Beispiele zu finden, in denen AI in ausgereiften Ökosystemen wie Smartphones oder Betriebssystemen wirklich etwas grundlegend verändert hat
  • Ironischerweise wünsche ich mir von Siri eigentlich nur eine natürliche Gesprächsfähigkeit auf ChatGPT-Niveau. Mit GPT kann ich fast zu 90 % echte Gespräche führen, aber Siri 1) reagiert einfach nicht, 2) missversteht mich oder 3) versteht mich und weigert sich trotzdem, das Gespräch fortzusetzen. Diese Erfahrung ist wirklich enttäuschend

• Der folgende Satz hat bei mir besonders stark Anklang gefunden:

  while it’s possible to demonstrate the safety of an AI for a specific test suite or a known threat, it’s impossible for AI creators to definitively say their AI will never act maliciously or dangerously for any prompt it could be given

  Wenn man Ansätze wie MCP anwendet, vervielfacht sich dieses Risikopotenzial exponentiell MCP-Link

• Mir scheint, dass die wichtigste Voraussetzung fehlt. Das gilt auch bei normaler Software nicht immer, ist bei AI aber noch wichtiger: dass „dieselbe Eingabe dieselbe Ausgabe erzeugen muss“. Für Verlässlichkeit in automatisierten Prozessen ist das unverzichtbar

• Oft heißt es, AI-Bugs lägen an den Daten, aber das stimmt nicht vollständig. Selbst wenn an der LLM-Architektur oder den Trainingsdaten nichts offensichtlich falsch erscheint, sind LLMs grundsätzlich nichtdeterministisch, sodass sie schon aufgrund ihres algorithmischen Designs auf dieselbe Frage nicht immer dieselbe Antwort geben. Je nach Szenario ändern sich die Ergebnisse jedes Mal wie bei einem Würfelwurf

  • Das ist nicht immer ein Problem. Sowohl bei Programmierung als auch bei Mathematik kann es mehrere richtige Antworten geben. Das Problem ist, dass LLMs keinen Mechanismus haben, der die richtige Antwort garantiert, sondern heuristikbasiert Antworten erzeugen, die nur „richtig aussehen“. Deshalb verursachen LLMs in Bereichen, die logisches Denken erfordern, viele Software-Bugs und Fehler

• Ehrlich gesagt scheint mir die Behauptung plausibler, dass „mit der Zeit alle Bugs behoben werden und dadurch die Zuverlässigkeit von AI steigt“. Die Technologie ist selbst völlig neu, und die auf HN oft geäußerte Haltung „nichtdeterministisch = Müll“ ist überzogen, wenn man bedenkt, dass die Zuverlässigkeit von LLMs in den letzten zwei Jahren wohl um den Faktor 10 gestiegen ist

  • Die Leistung ist eindeutig besser geworden, aber ich glaube, die Wachstumskurve wird künftig logarithmisch verlaufen. In den nächsten Jahren wird es noch schnell besser, dann immer langsamer, bis irgendwann die Grenzen des heutigen auf Pattern Matching basierenden ML erreicht sind. Und ich glaube nicht, dass diese Grenze hoch genug sein wird, um Programmierer in Softwarefirmen vollständig zu ersetzen
  • Das Phänomen der „Intent-Misalignment“ bei AI und das Streben nach Macht sind keine Bugs, die man einfach mit PR oder Unit-Tests beheben kann
  • Ironischerweise wiederholen gerade die technisch starken Leute auf Hacker News immer wieder diesen Optimismus nach dem Motto „am Ende werden schon alle Bugs behoben“. Diese Haltung sieht man in der ganzen Community
  • Wenn man sich fragt, ob Menschen heute viel verlässlicher sind als früher, kommt man auch nicht unbedingt zu einem anderen Ergebnis. Natürlich sind LLMs keine Menschen, aber AGI könnte sich menschenähnlich verhalten

• Mit der Vorstellung, dass „jedes Fehlverhalten von AI-Systemen aus den Trainingsdaten stammt“, sollte man vorsichtiger sein. Selbst wenn Daten und Trainingsprozess perfekt wären, sind AI-Modelle strukturell weiterhin in der Lage, Fehler zu machen

• Es wäre gut, etwas klarer zu erklären, in welchen Situationen „AI-Bugs“ auftreten. Ich stimme der Aussage zu, dass man LLMs keine Echtzeitentscheidungen ohne Aufsicht überlassen sollte. Zum Beispiel halte ich es noch für verfrüht, AI die Steuerung von Verkehrsampeln einer Stadt zu übergeben. Aus Sicht von Ingenieuren wird das Thema AI-Bugs aber hauptsächlich bei „Coding Agents“ diskutiert, und in solchen Bereichen gibt es fast immer Aufsicht, sodass diese Sorgen dort nicht unmittelbar gelten

• Wichtig ist, verständlich zu machen, dass „AI manchmal erstaunlich gut funktioniert, manchmal aber enttäuschend ist, und man es ohne Tests niemals wissen kann“. Allerdings ist es unmöglich, alle Fälle zu testen. Wenn Kunden das verstehen, werden sie den Umfang der Tests oder mehr Kontrolle einfordern, und Anbieter werden sich auf überprüfbare Umgebungen konzentrieren (z. B. das Schreiben von Code) oder auf Bereiche, in denen Präzision keine große Rolle spielt (Texte, Memes). Wer AI befürwortet, hat einen echten Vorteil, wenn er diesen Punkt tief versteht. Andererseits interessieren sich Menschen kaum für AI-Bugs, Spezifikationen oder den Zusammenbruch klassischer Programmiermodelle; wenn AI aber Wahlen beeinflusst oder Massenentlassungen auslöst, entstehen enorme Feindseligkeit und Forderungen nach Regulierung. Wenn so etwas passiert, wird die Branche wohl mit den in der Zwischenzeit entwickelten Methoden zur Haftungsbegrenzung und Regulierungsvermeidung dagegenhalten (Haftungsausschlüsse, ausgeschlossene Klauseln, Schiedsklauseln usw.), und letztlich könnten schon wenige zufällige Großunfälle das Wachstum der Branche und sogar generationsübergreifende Investitionen gefährden

• Die wirklich gefährliche Seite von AI ist „konzentrierte Macht“. Das ist realistischer als die Sorge, eine emotionsfähige AI könne uns wie Batterien in Matrix behandeln

  • Tatsächlich herrscht schon heute in gewisser Weise eine Stimmung, in der CEOs und Führungskräfte uns wie Matrix-Batterien behandeln
  • Ich finde Informationsverschmutzung noch beängstigender. Durch nutzlose, von AI erzeugte Daten werden originale Informationen so stark verdünnt, dass es immer schwerer wird, überhaupt noch brauchbare Quellen zu finden
  • Damit Böses geschieht, ist „Machtkonzentration“ eine notwendige Bedingung. Anders gesagt: So wie „Linda ist Bankangestellte“ zwangsläufig wahrscheinlicher ist als „Linda ist Bankangestellte und feministische Aktivistin“. P(a) > P(a&b), das ist der Kern
  • Auch wenn AI keine Emotionen wie „Abneigung“ hat, kann sie gefährlich sein, sobald sie Menschen als Hindernis für ihre Ziele betrachtet. Superintelligenz kann auch ohne Emotionen gefährlich genug werden
  • Das größte Problem ist schon jetzt die extreme Machtkonzentration auf einer Seite, und AI ist dabei nur noch das letzte Ornament. Das eigentliche Problem ist nicht AI

• Ich versuche in letzter Zeit immer wieder zu vermitteln, dass „niemand genau weiß, wie AI funktioniert“. Ich möchte betonen, dass es einen Unterschied gibt zwischen etwas bauen und sein Prinzip verstehen. Beim Menschen ist das genauso

  • Menschen arbeiten und kooperieren ständig auch mit anderen, die sie nicht vollständig verstehen
  • Tatsächlich gibt es definitiv Fachleute, die neuronale Netze, Transformer, Attention, Embeddings und die Struktur von Tokenizern genau verstehen. Nur die Verbindungsgewichte zwischen den Neuronen können sie nicht klar erklären
  • Ich verstehe nicht, wie man sagen kann, niemand wisse, wie AI funktioniert. Die Hardware und Software, die wir verwenden, sowie ihr Laufzeitstatus lassen sich doch vollständig kontrollieren und beobachten, oder? Man kann sie jederzeit anhalten, den Zustand prüfen und den Ausführungsfluss Schritt für Schritt verfolgen. Wir kennen den Source Code, den Compiler und alles Weitere. Also was genau ist es, das wir nicht wissen?
  • Niemand kennt alle Ebenen und den gesamten Umfang des menschlichen Gehirns. Trotzdem vertrauen die Führungskräfte jeder Organisation auf das „Gehirn“ ihrer Mitarbeitenden und arbeiten mit ihnen