Grenzen und Probleme der heutigen KI
Warum sich KI nur schwer für ernsthafte Einsatzzwecke verwenden lässt
- Aus Sicht des Software Engineerings sind heutige KI-Systeme nicht zuverlässig genug, weil sie Komplexität und Größenordnung nur schwer effektiv beherrschen können
- Einflussreiche Software muss Transparenz, Beherrschbarkeit und Verantwortlichkeit bieten, doch heutige KI erfüllt diese Anforderungen nicht
- Es fehlt an Verantwortung für die Herkunft der Daten, und auch die Verantwortung für die Ergebnisse von KI-Algorithmen bleibt unklar
- Es gab Versuche mit „erklärbarer KI“ und zur Minderung von Bias, doch die grundlegenden Probleme bei Datenverantwortung und Engineering-Aufwand sind weiterhin ungelöst
Wie neuronale KI heute funktioniert
- Heutige KI basiert auf großen neuronalen Netzen (LLM, Generative AI usw.), in denen Millionen von Neuronen miteinander verbunden sind
- Das Training erfolgt überwiegend per unüberwachtem Lernen oder Self-Supervised Learning, bei nur minimalem menschlichem Eingriff
- Die Funktion des Systems wird in dem Prozess festgelegt, in dem es auf Basis der gegebenen Daten darauf trainiert wird, Ausgabeziele zu erfüllen
- Dafür werden enorme Rechenressourcen benötigt, was sehr hohe Kosten und einen hohen Energieverbrauch verursacht
Die unstrukturierte Natur neuronaler Netze und „emergentes Verhalten“
- Heutige KI-Systeme zeigen emergentes Verhalten, wobei sich die Arbeitsweise des Gesamtsystems aus den mathematischen Definitionen einzelner Neuronen nur schwer erklären lässt
- Die interne Struktur hat keinen sinnvollen Bezug zu Funktion und Bedeutung, weshalb Wiederverwendung oder modulare Entwicklung nicht möglich sind
- Es gibt weder Zwischenmodelle noch eine schrittweise Entwicklungsweise, und die Gründe sowie die Logik des Systems lassen sich nur schwer erklären
- Auch „menschliche Vermittlung“ hilft in der Praxis kaum dabei, die Ergebnisse des Systems zu erklären
Der kompositionelle Ansatz im Software Engineering und das Problem der KI
- Der kompositionelle Ansatz (compositionality) beschreibt Systeme als Ganzes, indem man die Bedeutung einzelner Bausteine und ihre Art der Kombination versteht
- Heutige KI unterstützt diesen Ansatz nicht, was zu folgenden Problemen führt:
- Die interne Struktur trägt keine Bedeutung, daher ist funktionale Wiederverwendung unmöglich
- Schrittweise Entwicklung oder Verifikation ist nicht möglich
- Es gibt kein explizites Wissensmodell, sodass das System seine „Gründe“ nicht erklären kann
Grenzen der Verifikation
- Bei heutigen KI-Systemen sind Eingabe- und Zustandsraum so groß, dass umfassende Tests unmöglich sind
- Bei probabilistischen Systemen zeigt eine korrekte Ausgabe nur eine Wahrscheinlichkeit für die jeweilige Eingabe, garantiert aber nicht stets ein verlässliches Ergebnis
- Teilverifikation wie Unit-Tests oder Integrationstests ist nicht möglich; möglich ist nur die Verifikation des Gesamtsystems
- Selbst bei Tests des Gesamtsystems ist die Abdeckung unzureichend, sodass Zuverlässigkeit nur schwer sicherzustellen ist
Probleme bei Fehlern und Korrekturen
- Fehler können durch unzureichende Trainingsdaten oder unvollständige Eingabedaten entstehen
- Selbst bei einem Retraining zur Fehlerbehebung sind lokal begrenzte Korrekturen nicht möglich, und auch Regressionstests sind schwierig
- Die Wahrscheinlichkeit ist hoch, dass neue Fehler eingeführt werden, und diese sind nur schwer zu entdecken
Fazit und Vorschläge
- Heutige KI-Systeme sind aufgrund mangelnder Zuverlässigkeit und Sicherheit für ernsthafte Anwendungen ungeeignet
- Die heutige Technik kann durch mehr Trainingsdaten und Rechenressourcen nur begrenzte Verbesserungen erzielen; eine grundlegende Steigerung der Zuverlässigkeit bleibt aus
- Vorschläge:
- Entwicklung hybrider Systeme, die neuronale Netze und symbolische KI kombinieren
- Erzeugung expliziter Wissensmodelle und Vertrauensniveaus oder Kombination mit bestehenden Verfahren zur Datensuche und Beweisführung
- Einsatz in begrenzten Bereichen, in denen sich Fehler verlässlich beherrschen lassen
- Nutzung in bestimmten Feldern wie der Wettervorhersage, in denen probabilistische Vorhersagen geeignet sind
13 Kommentare
Der Kernpunkt ist, dass die heutige AI auf induktiver Verifikation beruht: Ohne jede deduktive Überprüfung geht man davon aus, dass sie bis gestern sicher war und heute sicher ist, also auch morgen sicher sein wird.
Wie bei der Black-Swan-Theorie besteht weiterhin die Möglichkeit, dass eines Tages eine fatale Anomalie auftritt, und in gewisser Weise verlässt sich die aktuelle Sicherheit auf Glück.
In der klassischen Softwaretechnik war es möglich, solche Probleme deduktiv auf Einzelebene zu verifizieren, indem man einzelne Komponenten identifiziert und analysiert sowie Szenarien und Tests erstellt; bei AI ist das bislang noch völlig unmöglich.
Ein Problem, das beim autonomen Fahren von Tesla bereits gelöst wird..
Es klingt, als sei das große Problem, dass Modelle systemisch nicht verifiziert werden können und ihre Zuverlässigkeit daher nie 100 % erreichen kann. Wie wird das beim autonomen Fahren gelöst?
Tesla zeigt ein Musterbeispiel dafür, wie KI tatsächlich in der realen Welt angewendet werden kann.
Nichts ist zu 100 % möglich. 100 % sind Betrug oder eine Illusion.
Wie jedes andere Startup gehen wir Schritt für Schritt und agil vor.
In Problemsituationen kann man auch per Fernsteuerung eingreifen, und aktuell läuft es unter Aufsicht.
Ist nicht weniger die Zahl von 100 % Zuverlässigkeit selbst das Problem, sondern eher der Knackpunkt, dass die Modellarchitektur nicht erklärbar ist?
Bei den Schlussfolgerungen der Modelle scheint der Kern des Problems zu sein, dass sich viele heutige Deep-Learning-Modelle, insbesondere solche auf Basis neuronaler Netze, selbst mit Offenlegung ihrer internen Struktur nur schwer erklären lassen.
In letzter Zeit haben jedoch verschiedene Studien und auch Unternehmen wie Anthropic Wege aufgezeigt, diese Black Box zu lösen, daher wirkt es so, als könnte auch dieses Problem bald wieder gelöst werden.
Ich halte sowohl 100 % als auch Erklärbarkeit für eine Illusion.
Wichtig ist, wie beim Argument des „chinesischen Zimmers“, dass Teslas autonomes Fahren am Ende statistisch sicherer ist als menschliches Fahren. Und KI wird weiter skalieren und in „fast“ allen Fällen nahe an 100 % gut funktionieren.
Viele Gurus (Elon Musk, Eric Schmidt usw.) sagen, dass KI Schutzplanken braucht, weil sie wissen, dass KI nicht erklärbar ist.
Das stammt aus einem Kommentar auf Hacker News.
Wenn wir nicht die Erklärbarkeit des Modells hinterfragen, sondern nur die Genauigkeit der Ergebnisse, wie können wir dem Produkt dann vertrauen und es nutzen?
Sie drücken sich zu vage aus, deshalb verstehe ich es nicht gut. Ist es nicht wichtig, dass die internen Abläufe des Modells auch „erklärbar sein müssen“, damit eine Verifizierung auf einem gewissen Niveau überhaupt möglich ist?
Nach der Auffassung von kandik würde damit der Existenzgrund von Functional Safety entfallen.
Lässt sich der menschliche Geist erklären? Wenn der menschliche Geist nicht erklärbar ist, wie werden dann Berufseinsteiger ausgewählt?
Die Quantenmechanik ist ein zu 100 % statistisches Modell, und dennoch erklärt sie die Welt sehr gut.
Auch das Konzept des „Vertrauens“ könnte sich durch den technologischen Fortschritt verändern.
Wie auch immer man es dreht und wendet: Aus Sicht der Entwickler ist das eine ziemlich zermürbende Situation. Man nutzt KI ja eigentlich, um sich die Arbeit zu erleichtern, aber weil man nicht weiß, wie viel strenger man für die Zuverlässigkeit testen muss, ist es schwer.
Es ist gut, wenn sich bei der Entwicklung eines Produkts Dinge erklären lassen. Letztlich sind Menschen keine Produkte; bei einem bestimmten Problem kann man die Person selbst zur Verantwortung ziehen, aber wenn ein Produkt einen Mangel hat, wird der Hersteller zur Verantwortung gezogen.
Deshalb ist es umso wichtiger, die Testumgebung möglichst nah an die Realität heranzuführen. Weil man das Prinzip nicht kennt, bleibt letztlich nur die Methode, das Modell so zu trainieren, dass es möglichst keine Ausnahmesituationen gibt.
Hacker-News-Meinungen
Ich habe die Entwicklung neuronaler Netze seit Mitte der 1990er beobachtet und festgestellt, dass jede Phase der neuronalen Netze an eine Sackgasse gelangt ist. Das liegt daran, dass der mathematische Ansatz das intuitive Verständnis behindert. Interessant ist, dass LLMs die semantische Suche einfach machen.
Die Skalierbarkeit heutiger KI-Systeme lässt sich derzeit nicht vorhersagen. Im Vergleich zum menschlichen Gehirn ist die Zahl der neuronalen Verbindungen sehr gering.
LLM-basierte KI ist aus Sicht der Softwareentwicklung mangelhaft und für kritische Anwendungen ungeeignet.
Menschen machen selbst bei wichtigen Aufgaben Fehler, und für KI-Systeme gilt dasselbe.
Ich nutze KI aktiv und bekomme bei persönlichen Projekten große Hilfe.
Die Datenskalierung bringt keine großen Gewinne mehr. LLMs sind kein Weg zu AGI.
Es gibt viele Diskussionen darüber, ob KI Intelligenz repräsentiert. Das menschliche Gehirn ist ebenfalls nicht zuverlässig, und es wird über die Eignung von LLMs für Cybersecurity diskutiert.