OpenAI, Google und Anthropic ringen um die Entwicklung fortschrittlicherer KI

• Führende KI-Unternehmen wie OpenAI, Google und Anthropic erzielen bei der Entwicklung neuer Modelle zunehmend geringere Fortschritte
• OpenAI hat das neueste KI-Modell Orion trainiert, doch es blieb hinter den erwarteten Leistungen zurück
  • Insbesondere hatte es Probleme, Coding-Fragen angemessen zu beantworten
• Auch Googles Gemini blieb hinter den internen Erwartungen zurück, und bei Anthropic verzögert sich der Zeitplan für die Veröffentlichung von Claude 3.5 Opus

Grenzen der Daten und Kostenprobleme

• Es wird immer schwieriger, hochwertige von Menschen verfasste Daten zu beschaffen
• Die Leistung von KI-Modellen stagniert, und kleine Verbesserungen rechtfertigen die enormen Kosten nur schwer
• Bei OpenAIs Orion gilt der Mangel an ausreichenden Coding-Daten als eine der Hauptursachen
• Die Entwicklung neuer KI-Modelle kostet mehrere Millionen Dollar und dürfte künftig Milliarden Dollar erreichen

Strategien zur Leistungsverbesserung von KI

• OpenAI konzentriert sich vor der Veröffentlichung von Orion auf den Post-Training-Prozess. Dazu gehört, die Antworten des Modells durch Nutzerfeedback zu verbessern und den Tonfall der Interaktion anzupassen
• Um das Problem des Datenmangels zu lösen, sichern sich Unternehmen Daten über Verträge mit Verlagen oder setzen auf Expertinnen und Experten, die Daten labeln
• Auch der Einsatz von synthetischen Daten (synthetic data) nimmt zu, doch bei der Beschaffung einzigartiger und hochwertiger Daten gibt es weiterhin Grenzen

Zweifel an den Scaling Laws der KI

• Die KI-Branche hat sich bisher auf Scaling Laws verlassen, wonach größere Modelle und mehr Daten zu Leistungssteigerungen führen. Die jüngsten Ergebnisse lassen daran jedoch zweifeln
• Dario Amodei, CEO von Anthropic, ist optimistisch, dass Datenknappheit zwar Probleme verursachen kann, man aber Wege finden werde, diese zu überwinden

Das Gleichgewicht zwischen Kosten und Leistung

• Da die Entwicklungskosten für KI stark steigen, werden die hohen Ausgaben zum Problem, wenn neue Modelle die Leistung nicht wie erwartet verbessern
• OpenAI und Anthropic verlagern ihren Fokus weg von noch größeren Modellen hin zu neuen Anwendungsfällen wie KI-Agenten (agent)
  • Agenten können Aufgaben wie das Versenden von E-Mails oder das Buchen von Flügen im Namen der Nutzer übernehmen
• OpenAI-CEO Sam Altman erklärte, dass bei der Nutzung von Rechenressourcen schwierige Entscheidungen nötig seien
  • Er erläuterte in einem Reddit-AMA: "Wir werden weiterhin großartige neue Modelle veröffentlichen, aber der nächste große Durchbruch werden Agenten sein"

Fazit

• Große KI-Unternehmen setzen zwar immer mehr Rechenleistung und Daten ein, doch die Fortschritte stagnieren
• Um technische Grenzen und Datenknappheit zu überwinden, suchen sie nach neuen Ansätzen und Anwendungsfällen
• Die künftige Richtung der KI-Entwicklung dürfte sich eher auf konkrete Einsatzszenarien als auf die Modellgröße konzentrieren

[kandk]

Letztlich heißt das, dass es einfach zu viel Geld kostet.
Ich persönlich denke, dass das Upside ungefähr so groß ist wie die Anzahl der Neuronen im Gehirn.

[GN⁺]

Hacker-News-Kommentare

• Es gibt die Frage, ob alle Optionen ausgeschöpft sind, mit denen sich auf Basis von LLMs (Large Language Models) noch Mehrwert liefern lässt. Jemand, der ein Team leitet, ist der Meinung, dass noch ein weiter Weg vor uns liegt

  • Er nutzt hauptsächlich GPT-4o und Claude 3.5, und durch die Kombination aus technischen Investitionen und LLMs entstehen weiterhin Möglichkeiten für neue Anwendungen
  • Zum Beispiel lassen sich von Menschen kuratierte Wissensgraphen mit LLMs kombinieren, um „Experten-Bots“ zu erstellen, die den geschäftlichen Kontext verstehen und sich wie Teamkollegen verhalten
  • Fügt man Vorhersage- und Simulationsfunktionen hinzu, können LLMs sinnvolle Codeänderungen erzeugen und diese automatisch prüfen und iterieren
  • Es wird argumentiert, dass es wichtiger ist, die aktuelle Intelligenz zu nutzen, als weitere Modellverbesserungen zu verfolgen

• Im Engineering lag der Fokus in den vergangenen drei Jahren darauf, das Vor- und Nachtraining von Transformer-Modellen zu skalieren

  • Als neues Paradigma rücken multimodales Training und verkörperte Agenten inklusive Robotern in den Fokus
  • Auch OpenAI, Google und Anthropic investieren in Robotikforschung

• Die Codegenerierungsfunktion von ChatGPT kann im Web Dinge finden, die bestehendem Code ähneln

  • LLMs bieten im Wesentlichen Suche sowie Copy-and-Paste-Funktionalität, und das reicht für die Lösung allgemeiner Probleme aus
  • Allein mit LLMs wird jedoch keine allgemeine künstliche Intelligenz entstehen
  • Es braucht einen Konfidenzindikator für LLMs, der viel nützlicher wäre als die heutigen LLMs selbst

• Dass die Entwicklung von AI an eine Datengrenze gestoßen ist, ist etwas Gutes, weil sich der Druck dadurch in Richtung besserer Modellarchitekturen verlagert

  • AI-Forscher suchen nach besseren Modellen

• Die negativen Schlagzeilen darüber, dass AI an eine Wand gestoßen sei, ähneln der Zeit, als das Internet erstmals aufkam

  • In zehn Jahren wird AI voraussichtlich tief mit allen Aspekten des Lebens verbunden sein

• Bestehende Technologien haben bereits große Veränderungen in der Industrie bewirkt, und der Übergang zu hybriden Modellen aus AI und Mensch braucht Zeit

• Das neueste Modell von OpenAI hat die Erwartungen zwar nicht erfüllt, könnte aber abhängig von der Größe der Trainingsdaten linear weiter wachsen

• Es wird die Frage aufgeworfen, ob man AI-Software kaufen und ihr Funktionen hinzufügen kann, die Nutzern dabei helfen, selbst Dokumente zu lesen und neue Versionen von Apps zu schreiben