12 Punkte von GN⁺ 2024-12-23 | 7 Kommentare | Auf WhatsApp teilen
  • OpenAIs KI-Projekt der nächsten Generation GPT-5 (Codename Orion) verzögert sich, während enorme Kosten anfallen
  • GPT-5 soll einen großen Fortschritt der Technologie bringen, die ChatGPT möglich gemacht hat, doch Erfolgsaussichten und Zeitplan sind ungewiss
  • Der wichtigste Investor Microsoft hatte mit einer Vorstellung Mitte 2024 gerechnet, doch in internen Tests bei OpenAI traten mehrere Probleme auf

Projektstand und Kosten

  • GPT-5 hat bereits zwei groß angelegte Trainingsläufe durchlaufen, von denen jeder Hunderte Millionen Dollar kostete
  • Es erfüllt die erwartete Leistung nicht; das aktuelle Leistungsniveau liegt nur leicht über dem von GPT-4
  • OpenAI-CEO Sam Altman betont, dass GPT-5 einen bahnbrechenden Fortschritt liefern werde

Trainingsdaten und technische Probleme

  • Das Training von LLMs erfordert riesige Datenmengen, doch im heutigen Internet fehlt es an ausreichend hochwertigen Daten
  • OpenAI setzt daher auf Methoden zur direkten Datenerzeugung, etwa durch das Lösen von Mathematikaufgaben oder das Schreiben von Software-Code
  • Synthetische Daten (von KI erzeugte Daten) werden ebenfalls genutzt, bergen im eigenen Datenerzeugungsprozess jedoch das Risiko von Fehlern und unplausiblen Ergebnissen

Interne Probleme und Wettbewerbsdruck

  • Interne Konflikte bei OpenAI und zunehmende Abwerbeversuche durch Wettbewerber
  • Mehr als 24 Schlüsselkräfte, darunter Mitgründer Ilya Sutskever und CTO Mira Murati, haben das Unternehmen verlassen
  • Konkurrenten wie Anthropic und Google verschärfen den Wettbewerb mit besseren LLMs

Neuer Ansatz: Reasoning-Modelle

  • OpenAI entwickelt neue Reasoning-Modelle, um die Leistung von LLMs zu steigern
    • Erkenntnis, dass der bisherige Ansatz, einfach nur Daten zu skalieren, an Grenzen stößt
    • Das o1-Modell erzeugt mehrere Antworten auf eine einzelne Frage, analysiert sie und wählt die beste Antwort aus
    • Es kann komplexe Probleme lösen, den Antwortprozess erklären und daraus lernen

Trade-off zwischen Kosten und Leistung

  • Reasoning-basierte Modelle liefern bessere Ergebnisse als bisherige Methoden, verursachen jedoch hohe Kosten
    • Da für eine einzelne Frage mehrere Antworten erzeugt werden müssen, steigen die Rechenkosten
  • Forschende versuchen, Reasoning-Modelle mit dem bisherigen datengetriebenen Ansatz zu kombinieren, um die Grundlage für GPT-5 zu schaffen

Industrielle Herausforderungen und Datenmangel

  • Die KI-Branche sieht sich zunehmend mit Datenknappheit und grundlegenden Grenzen konfrontiert
  • Wie die Metapher von Daten als „fossile Brennstoffe der KI“ andeutet, wird es immer schwieriger, zusätzliche hochwertige Daten zu beschaffen
  • Falls die Entwicklung von GPT-5 ins Stocken gerät, könnte auch die Verbesserung von KI insgesamt stagnieren

Fazit

  • OpenAI kämpft im Orion-Projekt mit technischen, finanziellen und personellen Problemen
  • Neue Reasoning-Modelle werden als möglicher neuer Durchbruch für die Weiterentwicklung von KI geprüft
  • Ob jedoch ein Modell erscheint, das als GPT-5 gelten kann, bleibt weiterhin ungewiss

7 Kommentare

 
aer0700 2024-12-24

So wie petrochemische Unternehmen Erdöl zu Benzin, Diesel usw. raffinieren,
gäbe es vielleicht auch ein Geschäftsmodell für Datenraffinerie-Unternehmen, die unaufbereitete Daten schön aufbereiten.
Zum Beispiel, indem man die unzähligen im Unternehmen angesammelten Excel- und PowerPoint-Dateien mit Standardarbeitsanweisungen aufbereitet und dann für GPT-Fine-Tuning verwendet?

 
softer 2024-12-23

Es wirkt wie eine erwartete Grenze, und ich finde den Gedanken auch interessant, in die Richtung umzuschwenken, dass es sich seiner selbst bewusst wird und denkt.

 
windrod 2024-12-23

Wenn es weder eine klar festgelegte Roadmap noch eindeutige Maßstäbe gibt, ist es gut möglich, dass Gerede darüber, ob sich die Entwicklung verzögert oder nicht, am Ende auch nur ein Marketing-Leak ist.

 
mammal 2024-12-23

Das o1-Modell erzeugt mehrere Antworten auf eine einzelne Frage, analysiert diese und wählt die optimale Antwort aus

o1 ist kein MCTS- oder suchbasierter Ansatz, sondern ein Modell, das CoT per RL erweitert.

 
curiousotter 2024-12-23

Es werden mehrere Antworten erzeugt -> dabei geht es offenbar nicht darum, parallel mehrere Antworten zu generieren und dann eine davon auszuwählen,
sondern, wie Sie sagten, mithilfe von CoT so lange nacheinander Antworten zu erzeugen, bis entschieden wird, dass eine Antwort zustande gekommen ist, und so die optimale Antwort zu liefern.
Vielleicht wurde das im Übersetzungsprozess falsch übersetzt. Da ich den Originaltext schwer überprüfen kann, weiß ich es aber nicht genau.

 
mammal 2024-12-23

> Hinter den Kulissen liefert OpenAIs o1 mehrere Antworten auf jede Frage und analysiert sie, um die beste zu finden. Es kann komplexere Aufgaben ausführen, etwa einen Businessplan schreiben oder ein Kreuzworträtsel erstellen, und dabei seine Argumentation erläutern – was dem Modell hilft, aus jeder Antwort ein wenig zu lernen.

> All diese zusätzliche Denkleistung ist teuer. OpenAI bezahlt jetzt dafür, mehrere Antworten auf eine einzelne Anfrage zu erzeugen, statt nur eine.

Offenbar hat der Journalist es so verstanden, dass mehrere Antworten erzeugt und dann eine ausgewählt wird.

 
GN⁺ 2024-12-23
Hacker-News-Kommentare
  • Mit steigenden Kosten für das Modelltraining gibt es das Problem, dass sich die für das Training benötigte Zeit verlängert. Ein Grund, warum kleinere Modelle schneller Innovationen hervorbringen können, ist ihre kürzere Feedbackschleife

  • Die Beschreibung von OpenAI zur Entwicklung von GPT-4 schafft kein Vertrauen in den Artikel

  • Es wird angemerkt, dass LLMs an eine Grenze gelangt sind, an der sie sich nicht mehr allein durch mehr Daten und Rechenleistung weiterentwickeln können. Neue Ideen sind nötig, und die Finanzierung dafür ist ausreichend vorhanden

  • Das aktuelle Niveau von LLMs wäre viel nützlicher, wenn es konservative Zuverlässigkeitsmetriken liefern könnte. Es müsste Ausgaben wie „Ich weiß es nicht“ oder „Ich bin mir nicht sicher, aber ...“ geben

  • Wichtiger als die nächste Veröffentlichung von OpenAI ist, dass die Softwareindustrie diese Technologie integriert und ihren Wert realisiert

  • Aus Aussagen von Insidern lässt sich vermuten, dass man durch Skalierung sowie Veränderungen bei Daten und Algorithmen eine 10-fache Verbesserung anstrebt. Öffentliche Datenquellen sind fast ausgeschöpft, und algorithmische Veränderungen sorgen durch Forschung weiterhin für schrittweise Verbesserungen

    • Wenn Daten begrenzt sind, stagniert die Skalierung
    • Der logische nächste Schritt ist, Wege zu finden, Rechenleistung in bessere Daten umzuwandeln
    • Mit der Veröffentlichung von o3 könnte OpenAIs nächster Schutzwall im besten synthetischen Trainingsdatensatz bestehen
  • GPT-5 hat sich nicht verspätet, sondern wurde bereits vor einem halben Jahr als GPT-4o veröffentlicht. Es war nicht bahnbrechend genug, um als 5 bezeichnet zu werden, und wurde möglicherweise in letzter Minute umbenannt

  • Es wird erwähnt, dass der Technikjournalismus übertrieben ist, da trotz der Veröffentlichung von o3 weiterhin kritische Artikel erscheinen

  • o1-Pro ist subjektiv deutlich besser als GPT-4, und o3 wird als noch besser eingeschätzt. Das deutet darauf hin, dass sich die Technologie schnell weiterentwickelt

  • Die Welt findet gerade heraus, wie diese Technologie sinnvoll eingesetzt werden kann, und dass ein Zeitplan verschoben wurde, wirkt fast komisch