State of AI 2023 [Google Slides, 163 S.]

Ein jährlich erscheinender Bericht, der Gegenwart und Zukunft der künstlichen Intelligenz umfassend beleuchtet

• Research : Technische Innovationen und Fähigkeiten bis heute
• Industry : Kommerzielle Anwendungsfelder für AI und geschäftliche Auswirkungen
• Politics : Regulierung rund um AI, wirtschaftliche Bedeutung und Geopolitik der AI
• Safety : Identifikation und Minderung potenziell katastrophaler Risiken durch AI
• Predictions : Was als Nächstes passieren wird und Rückblick auf die Treffgenauigkeit früherer Berichte

Zusammenfassung nach Bereichen für 2023

• Research
  • GPT-4 zeigte die Leistungslücke zwischen proprietären Modellen und den zweitbesten Open-Source-Alternativen und belegte zugleich die Stärke von RLHF (Reinforcement Learning from Human Feedback)
  • Auf Basis von LLaMa-1/2 nehmen die Bemühungen zu, mit kleineren Modellen, besseren Datensätzen und längerem Kontext die Leistung proprietärer Modelle zu reproduzieren oder zu übertreffen
  • Es ist unklar, wie lange von Menschen erzeugte Daten den AI-Skalierungstrend noch tragen können (manche erwarten, dass LLMs bis 2025 die Daten erschöpfen) und welche Auswirkungen das Hinzufügen synthetischer Daten haben wird. Videos und Daten, die innerhalb von Unternehmen eingeschlossen sind, dürften die nächsten Ziele sein
  • LLMs und Diffusion-Modelle liefern der Life-Sciences-Community weiterhin Durchbrüche, indem sie neue Fortschritte in der Molekularbiologie und Wirkstoffentwicklung ermöglichen
  • Mit Multimodalität als neuem Schwerpunkt ist das Interesse an Agenten aller Art stark gestiegen
• Industry
  • NVIDIA trat aufgrund der enormen GPU-Nachfrage von Staaten, Startups, Großunternehmen und Forschenden dem Club der Unternehmen mit 1 Billion US-Dollar Marktkapitalisierung bei
  • Exportkontrollen beschränken zwar den Verkauf fortschrittlicher Chips nach China, doch große Chipanbieter entwickeln Alternativen, die diese Kontrollen umgehen können
  • Von ChatGPT angeführt hatten GenAI-Apps in den Bereichen Bild, Video, Coding, Sprache, Copilots und mehr ein Durchbruchsjahr und zogen 18 Milliarden US-Dollar an VC- und Unternehmensinvestitionen an
• Politics
  • Die Welt ist in klare Regulierungslager gespalten, doch Fortschritte bei globaler Governance bleiben langsam. Große AI-Labore versuchen, diese Lücke zu füllen
  • Der Chipkrieg geht weiter, während die USA Verbündete mobilisieren und Chinas Reaktion weiterhin unzureichend bleibt
  • Es wird erwartet, dass AI eine Reihe sensibler Bereiche einschließlich Wahlen und Beschäftigung beeinflusst, bislang sind die Auswirkungen jedoch noch begrenzt
• Safety
  • Die Debatte über existenzielle Risiken ist erstmals in den Mainstream vorgedrungen und hat sich deutlich verschärft
  • Viele leistungsstarke Modelle lassen sich leicht „jailbreaken“. Um RLHF-Probleme zu lösen, suchen Forschende nach Alternativen wie Self-Alignment und Pretraining auf menschlichen Präferenzen
  • Mit zunehmenden Fähigkeiten wird es immer schwieriger, SOTA-Modelle (State of the Art) konsistent zu bewerten. Vibes allein reichen nicht aus

Prognosen für die nächsten 12 Monate

1. Generative AI wird in Produktionen auf Hollywood-Niveau für visuelle Effekte eingesetzt
2. Im Verlauf der US-Präsidentschaftswahl 2024 wird ein Unternehmen für generative AI-Medien wegen mutmaßlichen Missbrauchs untersucht
3. Sich selbst verbessernde AI-Agenten übertreffen SOTA in komplexen Umgebungen (z. B. AAA-Spiele, Tool-Nutzung, Wissenschaft) deutlich
4. Es wird erwartet, dass der Markt für Tech-IPOs wieder auftaut und mindestens ein AI-zentriertes Unternehmen (z. B. Databricks) an die Börse geht
5. Im GenAI-Skalierungsboom wird mindestens eine Gruppe mehr als 1 Milliarde US-Dollar ausgeben, um ein einziges großes Modell zu trainieren
6. Die US-amerikanische Federal Trade Commission (FTC) oder die britische Competition and Markets Authority (CMA) untersucht den Microsoft/OpenAI-Deal wegen möglicher Verstöße gegen das Wettbewerbsrecht
7. Fortschritte bei globaler AI-Governance, die über hochrangige freiwillige Zusagen hinausgehen, bleiben begrenzt
8. Finanzinstitute legen GPU-Debt-Funds auf, um VC-Eigenkapital als Mittel zur Finanzierung von Compute zu ersetzen
9. Ein von AI erzeugter Song schafft es in die Top 10 der Billboard Hot 100 oder in Spotify Top Hits 2024
10. Da Inferenz-Workloads und -Kosten stark steigen, übernimmt ein großes AI-Unternehmen (z. B. OpenAI) einen auf Inferenz spezialisierten AI-Chiphersteller

[xguru]

State-of-AI-2022-Bericht [Google Slides, 114 S.]
State-of-AI-2021-Bericht [Google Slides, 188 S.]
State-of-AI-2020-Bericht [Google Slides, 183 S.]