2025 AI Index Report

• Der gesellschaftliche Einfluss von AI ist heute so deutlich wie nie zuvor, und seine Tragweite ist geradezu historisch.
• Stanford HAI geht davon aus, dass AI die wichtigste transformative Technologie des 21. Jahrhunderts werden wird.
• Zugleich wird betont, dass für eine gleichmäßige Verteilung der Vorteile des AI-Fortschritts an alle eine zielgerichtete Entwicklung notwendig ist.
• Der AI Index analysiert den technischen Fortschritt, die wirtschaftlichen Auswirkungen und die gesellschaftlichen Effekte von AI objektiv und liefert politischen Entscheidungsträgern und Unternehmensführungen wichtige Erkenntnisse.

1. Die AI-Leistung bei anspruchsvollen Benchmarks verbessert sich weiter

• 2023 führten Forschende neue Benchmarks ein, um die Grenzen modernster AI-Systeme zu testen:
  • MMMU, GPQA, SWE-bench
• Schon innerhalb nur eines Jahres stieg die Leistung deutlich an:
  • MMMU: +18.8%p
  • GPQA: +48.9%p
  • SWE-bench: +67.3%p
• Auch jenseits von Benchmarks zeigte AI bemerkenswerte Fortschritte bei der Erzeugung hochwertiger Videos.
• In einigen Umgebungen erzielten auf Sprachmodellen basierende Agenten innerhalb begrenzter Zeit bessere Programmierergebnisse als Menschen.

2. AI breitet sich rasch im Alltag aus

• Von der Medizin bis zum Verkehr wird AI über das Labor hinaus zunehmend fest in den Alltag integriert.
• 2023 ließ die US-amerikanische FDA 223 AI-basierte Medizinprodukte zu (2015 waren es nur 6).
• Autonome Fahrzeuge befinden sich nicht mehr in der Experimentierphase, sondern im Stadium der Kommerzialisierung.
  • Waymo: bietet pro Woche mehr als 150.000 autonome Fahrten an
  • Baidu: betreibt in mehreren chinesischen Städten kommerzielle Dienste mit dem Apollo Go Robotaxi

3. Unternehmen investieren umfassend in die Einführung und Nutzung von AI

• 2024 erreichten die privaten AI-Investitionen in den USA 109,1 Milliarden US-Dollar und lagen damit weltweit an der Spitze.
  • Das ist etwa 12-mal so viel wie in China (9,3 Milliarden US-Dollar) und 24-mal so viel wie im Vereinigten Königreich (4,5 Milliarden US-Dollar).
• Allein in den Bereich generative AI flossen 33,9 Milliarden US-Dollar → ein Anstieg von 18,7 % gegenüber 2023
• Auch der Anteil der Unternehmen, die AI nutzen, steigt schnell:
  • von 55 % im Jahr 2023 auf 78 %, die 2024 den Einsatz von AI meldeten
• Forschungsergebnissen zufolge trägt AI insgesamt zur Steigerung der Produktivität bei und
  • leistet auch einen positiven Beitrag zum Abbau von Kompetenzunterschieden zwischen Berufen

4. Die USA führen weiterhin bei wichtigen AI-Modellen, doch China schließt die Leistungslücke schnell

• 2024 veröffentlichten die USA 40 bedeutende AI-Modelle und lagen damit klar vor China (15) und Europa (3).
• Quantitativ liegen die USA vorn, doch die Qualitätslücke chinesischer Modelle schrumpft schnell.
  • Bei repräsentativen Benchmarks (MMLU, HumanEval) wandelte sich der Abstand von einem zweistelligen Unterschied im Jahr 2023 zu nahezu Gleichstand im Jahr 2024.
• China bleibt weiterhin weltweit führend bei der Zahl der AI-Publikationen und Patente.
• Die Entwicklung von AI-Modellen diversifiziert sich zunehmend in Richtung Naher Osten, Lateinamerika und Südostasien.

5. Das Responsible-AI-(RAI)-Ökosystem entwickelt sich weiter, bleibt aber unausgewogen

• AI-bezogene Vorfälle und Probleme nehmen stark zu, doch große Entwickler industrieller Modelle führen RAI-Standardbewertungen weiterhin nur selten ein.
• Neue Sicherheits-Benchmarking-Verfahren entstehen:
  • HELM Safety, AIR-Bench, FACTS → vielversprechende Werkzeuge zur Bewertung von Genauigkeit und Sicherheit
• Unternehmen haben zwar ein hohes Bewusstsein für RAI-Risiken, bleiben bei konkreten Maßnahmen jedoch unzureichend.
• Gleichzeitig beschleunigen Regierungen ihre Reaktion auf AI-Governance.
  • OECD, EU, UN und Afrikanische Union haben politische Rahmenwerke veröffentlicht, die Transparenz und Vertrauenswürdigkeit betonen.

6. Der globale Optimismus gegenüber AI nimmt zu, doch die regionalen Unterschiede sind groß

• Anteil der Menschen, die AI als nützlich ansehen:
  • In China (83 %), Indonesien (80 %) und Thailand (77 %) überwiegen positive Bewertungen.
  • Kanada (40 %), die USA (39 %) und die Niederlande (36 %) verzeichnen niedrige Werte.
• Dennoch nimmt der Optimismus zu:
  • Anstieg der optimistischen Wahrnehmung gegenüber 2022: Deutschland (+10 %), Frankreich (+10 %), Kanada (+8 %), Vereinigtes Königreich (+8 %), USA (+4 %)

7. AI entwickelt sich in Richtung höherer Effizienz, geringerer Kosten und besserer Zugänglichkeit

• Dank der Leistungssteigerung kleiner Modelle sanken die Inferenzkosten für Modelle auf GPT-3.5-Niveau zwischen November 2022 und Oktober 2024 um das 280-Fache.
• Auf der Hardware-Seite:
  • jährliche Kosten um 30 % gesunken
  • Energieeffizienz um 40 % verbessert
• Auch Open-Weight-Modelle verbessern ihre Leistung rasant.
  • Bei einigen Benchmarks verringerte sich der Leistungsabstand zu geschlossenen Modellen von 8 % auf 1,7 %.
• All diese Faktoren senken die Einstiegshürden für fortgeschrittene AI-Technologien rapide.

8. Regierungen weltweit treiben AI-Regulierung und Investitionen entschlossen voran

• 2024 veröffentlichten US-Bundesbehörden 59 AI-bezogene Regulierungen.
  • Das ist mehr als doppelt so viel wie 2023, und auch die Zahl der beteiligten Behörden verdoppelte sich.
• In 75 Ländern nahmen gesetzgeberische Erwähnungen von AI um 21,3 % zu
  • ein neunfacher Anstieg gegenüber 2016
• Beispiele für bedeutende staatliche Investitionen:
  • Kanada: 2,4 Milliarden US-Dollar, China: 47,5-Milliarden-US-Dollar-Halbleiterfonds
  • Frankreich: 109 Milliarden Euro, Indien: 1,25 Milliarden US-Dollar
  • Saudi-Arabien: 100 Milliarden US-Dollar Investition über Project Transcendence

9. AI- und Informatikbildung breitet sich aus, doch es gibt Probleme bei Zugang und Vorbereitung

• Zwei Drittel der Länder weltweit setzen K–12-Informatikbildung um oder planen sie
  • doppelt so viele wie 2019
  • die schnellsten Fortschritte in Afrika und Lateinamerika
• Die Zahl der Bachelor-Abschlüsse in computerbezogenen Fächern stieg in den USA innerhalb von zehn Jahren um 22 %.
• Aufgrund fehlender grundlegender Infrastruktur (etwa Strom) bleibt der Zugang in Teilen Afrikas jedoch weiterhin schwierig.
• 81 % der K–12-Informatiklehrkräfte in den USA halten AI für einen wesentlichen Bestandteil der Bildung,
  • doch weniger als die Hälfte gab an, tatsächlich auf die Vermittlung von AI vorbereitet zu sein

10. Die Industrie führt die AI-Entwicklung an, doch der Wettbewerb wird intensiver

• 2024 wurden rund 90 % der bedeutenden AI-Modelle von der Industrie entwickelt (2023 waren es 60 %).
• Gleichzeitig stammt die meistzitierte AI-Forschung weiterhin aus der Wissenschaft.
• Die Modellgrößen wachsen weiter:
  • Trainingsrechenaufwand verdoppelt sich alle 5 Monate
  • Datensätze verdoppeln sich alle 8 Monate
  • Stromverbrauch verdoppelt sich jedes Jahr
• Doch die Leistungsunterschiede nehmen ab:
  • Punktedifferenz zwischen dem Modell auf Rang 1 und Rang 10: 11.9% → 5.4%
  • Unterschied zwischen Rang 1 und Rang 2: nur 0.7%
• Das deutet auf ein AI-Entwicklungsumfeld mit intensivem Wettbewerb und wachsender Komplexität hin.

11. AI wird in der Wissenschaft auf höchstem Niveau anerkannt

• AI wurde zuletzt als Schlüsseltechnologie hinter Nobelpreis-gekrönter Forschung anerkannt.
  • Auszeichnungen gab es jeweils für Deep-Learning-Technologie (Physik) und Anwendungen der Proteinstrukturvorhersage (Chemie).
• Außerdem wurde ein Turing Award für bahnbrechende Beiträge im Bereich Reinforcement Learning verliehen.
• Das deutet darauf hin, dass der wissenschaftliche Einfluss von AI in wichtigen Disziplinen nun formell anerkannt wird.

12. Komplexes Schlussfolgern bleibt weiterhin eine große Herausforderung für AI

• AI zeigt hervorragende Leistungen beim Lösen von Aufgaben auf dem Niveau der Internationalen Mathematik-Olympiade.
• Bei komplexen Reasoning-Benchmarks wie PlanBench hat sie jedoch weiterhin Schwierigkeiten.
• Trotz klar vorhandener richtiger Antworten gelingt es oft nicht, logische Probleme konsistent zu lösen.
• Dadurch bleibt die praktische Wirksamkeit von AI in risikoreichen Bereichen, in denen Genauigkeit entscheidend ist, begrenzt.

[GN⁺]

Hacker-News-Kommentare

• Die Daten dieses Berichts wurden als CSV-Dateien auf Google Drive bereitgestellt, sodass sie in eine SQLite-Datenbank umgewandelt und mit Datasette Lite durchsucht werden können
  • Die interessanteste Tabelle zeigt Beispiele für Verzerrungen in verschiedenen Modellen
• Zu Punkt 11 (AlphaFold3 vs. Vina, Gnina usw.) wurde auf Substack eine Entgegnung veröffentlicht
  • Gnina bewertet die Ergebnisse von Vina mit einem neuronalen Netzwerk neu, daher gilt dieselbe Sorge
  • Ich bin gegenüber KI optimistisch, aber dieser Vergleich war falsch
  • Es werden Methoden benötigt, die sich auf neue Wirkstoffkandidaten verallgemeinern lassen, aber bewertet wurde mit sich wiederholenden Datensätzen
• Ich sehe oft Berichte, dass KI besser als Menschen sei, habe aber bei alltäglicher Problemlösung keine Hilfe erhalten
  • Ich habe Claude Hunderte Zeilen Code und die Stelle des Problems gegeben, aber es konnte das Problem nicht lösen
  • LLMs neigen dazu, sich auf eine bestimmte Ausgabe zu versteifen
  • Ähnlich wie bei der Google-Suche bekommt man selbst bei einer spezifischen Suche dieselben Ergebnisse zurück
• Es ist überraschend, dass es kein Kapitel zu den Umweltauswirkungen gibt
  • In Europa, besonders in Frankreich, ist das ein zentrales Argument gegen den Einsatz von KI
  • Dazu gehören Kunstdiebstahl, Arbeitsplatzvernichtung, die leichte Erzeugung von Desinformation und die Arbeitsbedingungen von KI-Trainern in einkommensschwachen Ländern
  • Ich bin persönlich nicht gegen KI und zähle nur Argumente auf, die ich oft im Feed sehe
• Jedes Kapitel wird als einzelnes PDF bereitgestellt, und der Gesamtbericht umfasst 456 Seiten
• „Die Leistung von KI bei anspruchsvollen Benchmarks verbessert sich weiter“
  • Es wirkt so, als würden immer mehr KI-Modelle auf diese maßgeblichen Benchmarks hin optimiert
• Es gibt die Frage, warum die Website es so schwer macht, Bilder in einem neuen Tab zu öffnen
  • Wenn man die URL kopiert, landet man bei einem Rauschbild, aber über AWS S3 kann man das Originalbild herunterladen
  • Es stellt sich die Frage, ob damit nichttechnische Nutzer abgeschreckt werden sollen
• Frühere KI-Berichte von Stanford waren substanziell und kritisch
  • Der aktuelle Bericht wirkt, als hätte man viele kleine Pressemitteilungen zu einer zusammengebunden
  • KI ist an Universitäten zu Unternehmen und von Forschungsarbeiten zu Pressemitteilungen übergegangen
  • Die GPT-bezogenen Pressemitteilungen von OpenAI listeten nur Statistiken auf, ohne nützliche Informationen
• Ich bin sicher, dass sich der Lebensstandard verbessern wird
  • Man wird in derselben Zeit effektiver arbeiten können, wodurch die Produktivität steigt und die Kosten sinken werden
  • Ich bin mir nicht sicher, wie sich dieser Effekt am Aktienmarkt zeigen wird
• Die USA produzieren weiterhin die besten KI-Modelle, aber China verringert den Leistungsabstand
  • Die meisten Forschenden konzentrieren sich darauf, mit klugen Leuten coole Dinge zu bauen, nicht auf Nationalitäten
  • Ich will keinen Krieg mit der einzigen Fertigungsmacht der Welt
  • Ich würde es begrüßen, wenn die USA den KI-Wettbewerb mit China ernsthaft über F&E angehen würden, aber ich wünsche mir das nicht