AI-Apokalypse: 80 % der Projekte scheitern und Milliarden Dollar werden verschwendet
(salesforcedevops.net)- Ein neuer Bericht der RAND Corporation zeigt, dass trotz des Hypes um AI die meisten Projekte scheitern
- RAND: einer der führenden Thinktanks der USA. Der Name steht für R&D. Gegründet 1948 von Douglas Aircraft
- Der Bericht basiert auf Interviews mit 65 erfahrenen Data Scientists und Engineers, deckt die Grundursachen dieser Fehlschläge auf und skizziert einen Fahrplan für den Erfolg
Führungsversagen: Wenn Blinde Blinde führen
- Der größte Grund für das Scheitern von AI-Projekten ist nicht die Technik, sondern das Top-Management
- Führungskräfte verstehen oder kommunizieren oft falsch, welches Problem mit AI gelöst werden soll
- Führungskräfte haben überzogene Erwartungen an AI und unterschätzen den Zeit- und Ressourcenaufwand, der für eine erfolgreiche AI-Implementierung nötig ist
- Wegen mangelnder klarer Kommunikation zwischen Management und Technikteams sowie fehlendem Verständnis der Projektziele sind viele AI-Initiativen von Anfang an zum Scheitern verurteilt
- In vielen Organisationen fehlt die Geduld, die für eine erfolgreiche AI-Implementierung nötig ist. Projekte werden oft unterwegs aufgegeben oder auf neue Prioritäten umgelenkt, bevor sie überhaupt die Chance hatten, echten Wert zu beweisen
Das Daten-Dilemma: Garbage in, garbage out
- Die Datenqualität erwies sich als das zweitwichtigste Hindernis: „80 % von AI sind die schmutzige Arbeit des Data Engineering“
- Vielen Organisationen fehlen ausreichend hochwertige Daten, um effektive AI-Modelle zu trainieren
- Legacy-Datensätze sind für AI-Training womöglich nicht geeignet
- Der Mangel an Data Engineers führt zu Wissensverlust und steigenden Projektkosten
- Fehlende Domänenexpertise innerhalb von AI-Teams kann zu Fehlinterpretationen von Daten und Mängeln im Modelldesign führen
Die Jagd nach glänzenden Objekten: Wenn Engineers den Fokus verlieren
- Auch Engineers selbst tragen mitunter zum Scheitern von Projekten bei
- Viele Data Scientists und Engineers fühlen sich von den neuesten technologischen Fortschritten angezogen, obwohl einfachere Lösungen oft ausreichen würden
- Diese Tendenz, „glänzenden Objekten“ hinterherzujagen, kann zu unnötig komplexen Lösungen führen, die schwer zu warten und Stakeholdern schwer zu erklären sind
- Organisationen müssen Innovation und Pragmatismus ins Gleichgewicht bringen. Es ist wichtig, mit technologischen Fortschritten Schritt zu halten, aber der Fokus sollte darauf liegen, reale Geschäftsprobleme wirksam zu lösen
Infrastruktur: Das unattraktive Fundament für den Erfolg
- Fehlende Investitionen in Infrastruktur erwiesen sich als ein weiterer Hauptfaktor für das Scheitern von AI-Projekten
- Viele Unternehmen versuchen, AI-Projekte zu starten, ohne vorher die nötigen Grundlagen zu schaffen
- Organisationen brauchen eine umfassendere Sicht auf AI-Implementierung. Dazu gehört, in robuste Datenpipelines, automatisierte Test- und Deployment-Systeme sowie Tools zur Überwachung der Modellleistung in Produktion zu investieren
- Viele Organisationen haben Schwierigkeiten beim Übergang von erfolgreichen AI-Prototypen zu produktionsreifen Systemen. Dieses „Last-Mile“-Problem bringt vielversprechende Projekte oft aus der Bahn
Empfehlungen: Ein Realitätscheck für AI-Ambitionen
- Der RAND-Bericht gibt Organisationen die folgenden Empfehlungen, um die Erfolgsquote von AI-Projekten zu erhöhen:
- Sicherstellen, dass technisches Personal den Projektzweck und den geschäftlichen Kontext versteht. Der Bericht weist darauf hin: „Missverständnisse und Fehlkommunikation über Absicht und Ziel eines Projekts sind der häufigste Grund für das Scheitern von AI-Projekten.“ Dafür braucht es kontinuierlichen Dialog zwischen Business- und Technikteams sowie bewusste Arbeit an gemeinsamem Verständnis und gemeinsamer Terminologie.
- Nachhaltige Probleme auswählen. „Bevor ein AI-Projekt gestartet wird, sollten Führungskräfte sicherstellen, dass jedes Produktteam bereit ist, sich mindestens ein Jahr lang der Lösung eines bestimmten Problems zu widmen.“ Diese Empfehlung widerspricht der Tendenz, schnelle Erfolge zu jagen oder Prioritäten ständig zu wechseln. Indem Organisationen sich auf langfristige, wirkungsstarke Probleme konzentrieren, können sie ihren AI-Initiativen die nötige Zeit und die nötigen Ressourcen für den Erfolg geben.
- Auf das Problem statt auf die Technologie fokussieren. „Den neuesten AI-Technologien um ihrer selbst willen hinterherzujagen, ist einer der häufigsten Wege ins Scheitern.“ Der Bericht betont, wie wichtig es ist, das richtige Werkzeug für die jeweilige Aufgabe zu wählen, auch wenn es nicht die modernste Lösung ist. Das kann Veränderungen daran erfordern, wie Organisationen Technikteams bewerten und belohnen.
- In Infrastruktur investieren. „Vorabinvestitionen in Infrastruktur zur Unterstützung von Data Governance und Model Deployment können die für den Abschluss von AI-Projekten benötigte Zeit erheblich verkürzen.“ Solche Investitionen mögen weniger glamourös sein als AI-Forschung, sind aber entscheidend für langfristigen Erfolg. Dazu gehören der Aufbau robuster Datenpipelines, die Einführung von Versionskontrolle für Modelle und Daten sowie die Entwicklung von Systemen zur Überwachung und Wartung ausgerollter AI-Lösungen.
- Die Grenzen von AI verstehen. „AI ist kein Zauberstab zur Lösung schwieriger Probleme. In manchen Fällen können selbst die fortschrittlichsten AI-Modelle schwierige Aufgaben nicht automatisieren.“ Der Bericht fordert eine realistischere Einschätzung dessen, was AI kann und was nicht, und drängt Organisationen dazu, ihre Erwartungen zu senken und sich auf Bereiche zu konzentrieren, in denen AI echten Wert schaffen kann.
Perspektive der Wissenschaft: Publish or perish
- Die Studie untersuchte auch die AI-Forschung in der Wissenschaft und stellte fest, dass der Druck zur Veröffentlichung von Papers und das Streben nach Reputation reale Anwendungen oft in den Hintergrund drängen
- „Wenn ein AI-Projekt nicht zu einer Paper-Veröffentlichung führte, wurde es nicht als Erfolg wahrgenommen“, merkt der Bericht an und hebt damit die Fehlanpassung zwischen akademischen Anreizen und realer Wirkung hervor
- Dieser auf Veröffentlichungen ausgerichtete Ansatz kann Forschende dazu bringen, neuartige, aber unrealistische Ansätze gegenüber inkrementellen Verbesserungen zu priorisieren, die in der realen Welt erheblichen Einfluss haben könnten
- Der Bericht schlägt vor, dass akademische Institutionen ihre Erfolgskriterien in der AI-Forschung ausweiten und auch Kennzahlen einbeziehen sollten, die mit praktischen Anwendungen oder Industriekooperationen zusammenhängen
- Die Studie stellte außerdem fest, dass viele Forschende in der Wissenschaft Schwierigkeiten beim Zugang zu hochwertigen realen Datensätzen haben. Das kann zu einer Kluft zwischen akademischer Forschung und realen Anwendungen führen
- Der Bericht empfiehlt, die Zusammenarbeit zwischen Wissenschaft, Industrie und staatlichen Stellen zu fördern, um Forschenden Zugang zu relevanteren Daten zu ermöglichen und dabei die erforderlichen Datenschutz- und Sicherheitsmaßnahmen aufrechtzuerhalten
Ein Weckruf für die AI-Industrie
- Dieser RAND-Bericht dient als dringend nötiger Realitätscheck für die AI-Industrie
- Das Potenzial von AI ist weiterhin enorm, aber der Weg zur erfolgreichen Implementierung ist voller Herausforderungen
- Organisationen müssen die Lücke zwischen Hype und Realität schließen und sich auf belastbare Grundlagen konzentrieren, etwa Datenqualität, Infrastruktur und klare Kommunikation zwischen Technik- und Business-Teams
- Wie ein Interviewpartner treffend sagte: „Stakeholder wollen in den Prozess eingebunden sein. Sie mögen es nicht, wenn man sagt: ‚Es dauert länger als erwartet, ich melde mich in zwei Wochen wieder.‘ Sie sind neugierig.“ Das unterstreicht die Notwendigkeit kontinuierlicher und transparenter Kommunikation während des gesamten AI-Projekts, damit alle Stakeholder informiert und eingebunden bleiben
- Der Bericht betont außerdem die Bedeutung von Geduld und Ausdauer in der AI-Entwicklung. Schnelle Erfolge sind selten, und Organisationen müssen bereit sein, langfristige Anstrengungen zu unternehmen, um aus AI-Initiativen substanzielle Vorteile zu ziehen. Das kann einen Wandel in Organisationskultur und Erwartungshaltung erfordern: weg vom kurzfristigen Denken hin zu einer strategischeren und langfristigeren Perspektive auf AI-Implementierung
- Indem Organisationen diese Lehren annehmen und einen realistischeren, geduldigeren Ansatz für AI-Entwicklung verfolgen, können sie ihre Erfolgschancen in diesem transformativen Feld erhöhen
„Die Zukunft von AI ist hell, aber nur für diejenigen, die die sehr menschlichen Herausforderungen auf diesem Weg bewältigen können. Je reifer die Branche wird, desto besser positioniert sind diejenigen, die Innovation und Pragmatismus ausbalancieren und technische Exzellenz mit Geschäftssinn verbinden, um das wahre Potenzial von AI auszuschöpfen.“
6 Kommentare
Wenn Unternehmen es sich leisten können, Misserfolge zu verkraften...
Am Ende gewinnt, wer durchhält.
Ein Beitrag, dem ich enorm zustimmen kann ^^ Wenn ich eine kleine, nicht ganz kleine Spitzfindigkeit anbringen dürfte: In diesem Kontext wirkt bei „Publish“ nicht „Veröffentlichung“, sondern eher „Publikation eines Papers“ natürlicher.
Jemand Kluges hat schon vor langer Zeit die entscheidende Frage gestellt...
Wird es Geld einbringen?
Unternehmen wollen schnell Profit machen und verkaufen nur irgendein KI-irgendwas mit großem Namen, während das, was Nutzer erwarten, wohl eher das Ergebnis von mindestens 10 Jahren Investition ist ... schwierig.
Wenn man sich vorstellt, dass Investoren falsche Finanzzahlen übermittelt werden, die von einem mit LLM erstellten Murks-Abschluss stammen, wären vernünftige Manager wohl nicht so begeistert von LLMs. Ich denke, bei manchen Leuten, die trotz aller Erklärungen stur bleiben, hilft am Ende nur eine peinliche Erfahrung als Lektion.
Hacker-News-Kommentare
RAND-Bericht: Er enthält die Aussage, dass „Branchenakteure die Probleme, die mit AI gelöst werden sollen, missverstehen oder falsch kommunizieren“
Problem gescheiterter Investitionen: Nicht die 80 % Fehlschläge sind das Problem, sondern ob unter den verbleibenden 20 % einige Black Swans sind, die das gesamte Investment-Portfolio profitabel machen können
Link zum Rand Report: Rand Report
Problem des AI-Missbrauchs: Unternehmen geben oft die Anweisung aus, „überall AI einzubauen“
Startup-Erfolgsquote: Die 80/20-Regel ist besser, als wenn 90 % der Startups innerhalb von 3 Jahren scheitern
Geschichte wiederholt sich: Es gibt den Fall, dass DART 1991 eingeführt wurde und bis 1995 die AI-Forschungsgelder der DARPA kompensierte
Problem mit AI-Features: AI-Features bleiben erhalten, weil Führungskräfte zu sehr von AI besessen sind
R&D-Erfolgsquote: Dass bei Spitzentechnologie 20 % der Projekte erfolgreich sind, könnte ein ziemlich gutes Ergebnis sein
Codierung durch AI ersetzen: Es gibt eine skeptische Sicht auf die Behauptung, AI werde das Programmieren ersetzen
Website-Ausfall: Die Wordpress-Seite ist abgestürzt, weil sie den HN-Traffic nicht bewältigen konnte