- OpenAIs KI-Projekt der nächsten Generation GPT-5 (Codename Orion) verzögert sich, während enorme Kosten anfallen
- GPT-5 soll einen großen Fortschritt der Technologie bringen, die ChatGPT möglich gemacht hat, doch Erfolgsaussichten und Zeitplan sind ungewiss
- Der wichtigste Investor Microsoft hatte mit einer Vorstellung Mitte 2024 gerechnet, doch in internen Tests bei OpenAI traten mehrere Probleme auf
Projektstand und Kosten
- GPT-5 hat bereits zwei groß angelegte Trainingsläufe durchlaufen, von denen jeder Hunderte Millionen Dollar kostete
- Es erfüllt die erwartete Leistung nicht; das aktuelle Leistungsniveau liegt nur leicht über dem von GPT-4
- OpenAI-CEO Sam Altman betont, dass GPT-5 einen bahnbrechenden Fortschritt liefern werde
Trainingsdaten und technische Probleme
- Das Training von LLMs erfordert riesige Datenmengen, doch im heutigen Internet fehlt es an ausreichend hochwertigen Daten
- OpenAI setzt daher auf Methoden zur direkten Datenerzeugung, etwa durch das Lösen von Mathematikaufgaben oder das Schreiben von Software-Code
- Synthetische Daten (von KI erzeugte Daten) werden ebenfalls genutzt, bergen im eigenen Datenerzeugungsprozess jedoch das Risiko von Fehlern und unplausiblen Ergebnissen
Interne Probleme und Wettbewerbsdruck
- Interne Konflikte bei OpenAI und zunehmende Abwerbeversuche durch Wettbewerber
- Mehr als 24 Schlüsselkräfte, darunter Mitgründer Ilya Sutskever und CTO Mira Murati, haben das Unternehmen verlassen
- Konkurrenten wie Anthropic und Google verschärfen den Wettbewerb mit besseren LLMs
Neuer Ansatz: Reasoning-Modelle
- OpenAI entwickelt neue Reasoning-Modelle, um die Leistung von LLMs zu steigern
- Erkenntnis, dass der bisherige Ansatz, einfach nur Daten zu skalieren, an Grenzen stößt
- Das o1-Modell erzeugt mehrere Antworten auf eine einzelne Frage, analysiert sie und wählt die beste Antwort aus
- Es kann komplexe Probleme lösen, den Antwortprozess erklären und daraus lernen
Trade-off zwischen Kosten und Leistung
- Reasoning-basierte Modelle liefern bessere Ergebnisse als bisherige Methoden, verursachen jedoch hohe Kosten
- Da für eine einzelne Frage mehrere Antworten erzeugt werden müssen, steigen die Rechenkosten
- Forschende versuchen, Reasoning-Modelle mit dem bisherigen datengetriebenen Ansatz zu kombinieren, um die Grundlage für GPT-5 zu schaffen
Industrielle Herausforderungen und Datenmangel
- Die KI-Branche sieht sich zunehmend mit Datenknappheit und grundlegenden Grenzen konfrontiert
- Wie die Metapher von Daten als „fossile Brennstoffe der KI“ andeutet, wird es immer schwieriger, zusätzliche hochwertige Daten zu beschaffen
- Falls die Entwicklung von GPT-5 ins Stocken gerät, könnte auch die Verbesserung von KI insgesamt stagnieren
Fazit
- OpenAI kämpft im Orion-Projekt mit technischen, finanziellen und personellen Problemen
- Neue Reasoning-Modelle werden als möglicher neuer Durchbruch für die Weiterentwicklung von KI geprüft
- Ob jedoch ein Modell erscheint, das als GPT-5 gelten kann, bleibt weiterhin ungewiss
7 Kommentare
So wie petrochemische Unternehmen Erdöl zu Benzin, Diesel usw. raffinieren,
gäbe es vielleicht auch ein Geschäftsmodell für Datenraffinerie-Unternehmen, die unaufbereitete Daten schön aufbereiten.
Zum Beispiel, indem man die unzähligen im Unternehmen angesammelten Excel- und PowerPoint-Dateien mit Standardarbeitsanweisungen aufbereitet und dann für GPT-Fine-Tuning verwendet?
Es wirkt wie eine erwartete Grenze, und ich finde den Gedanken auch interessant, in die Richtung umzuschwenken, dass es sich seiner selbst bewusst wird und denkt.
Wenn es weder eine klar festgelegte Roadmap noch eindeutige Maßstäbe gibt, ist es gut möglich, dass Gerede darüber, ob sich die Entwicklung verzögert oder nicht, am Ende auch nur ein Marketing-Leak ist.
o1 ist kein MCTS- oder suchbasierter Ansatz, sondern ein Modell, das CoT per RL erweitert.
Es werden mehrere Antworten erzeugt -> dabei geht es offenbar nicht darum, parallel mehrere Antworten zu generieren und dann eine davon auszuwählen,
sondern, wie Sie sagten, mithilfe von CoT so lange nacheinander Antworten zu erzeugen, bis entschieden wird, dass eine Antwort zustande gekommen ist, und so die optimale Antwort zu liefern.
Vielleicht wurde das im Übersetzungsprozess falsch übersetzt. Da ich den Originaltext schwer überprüfen kann, weiß ich es aber nicht genau.
> Hinter den Kulissen liefert OpenAIs o1 mehrere Antworten auf jede Frage und analysiert sie, um die beste zu finden. Es kann komplexere Aufgaben ausführen, etwa einen Businessplan schreiben oder ein Kreuzworträtsel erstellen, und dabei seine Argumentation erläutern – was dem Modell hilft, aus jeder Antwort ein wenig zu lernen.
> All diese zusätzliche Denkleistung ist teuer. OpenAI bezahlt jetzt dafür, mehrere Antworten auf eine einzelne Anfrage zu erzeugen, statt nur eine.
Offenbar hat der Journalist es so verstanden, dass mehrere Antworten erzeugt und dann eine ausgewählt wird.
Hacker-News-Kommentare
Mit steigenden Kosten für das Modelltraining gibt es das Problem, dass sich die für das Training benötigte Zeit verlängert. Ein Grund, warum kleinere Modelle schneller Innovationen hervorbringen können, ist ihre kürzere Feedbackschleife
Die Beschreibung von OpenAI zur Entwicklung von GPT-4 schafft kein Vertrauen in den Artikel
Es wird angemerkt, dass LLMs an eine Grenze gelangt sind, an der sie sich nicht mehr allein durch mehr Daten und Rechenleistung weiterentwickeln können. Neue Ideen sind nötig, und die Finanzierung dafür ist ausreichend vorhanden
Das aktuelle Niveau von LLMs wäre viel nützlicher, wenn es konservative Zuverlässigkeitsmetriken liefern könnte. Es müsste Ausgaben wie „Ich weiß es nicht“ oder „Ich bin mir nicht sicher, aber ...“ geben
Wichtiger als die nächste Veröffentlichung von OpenAI ist, dass die Softwareindustrie diese Technologie integriert und ihren Wert realisiert
Aus Aussagen von Insidern lässt sich vermuten, dass man durch Skalierung sowie Veränderungen bei Daten und Algorithmen eine 10-fache Verbesserung anstrebt. Öffentliche Datenquellen sind fast ausgeschöpft, und algorithmische Veränderungen sorgen durch Forschung weiterhin für schrittweise Verbesserungen
GPT-5 hat sich nicht verspätet, sondern wurde bereits vor einem halben Jahr als GPT-4o veröffentlicht. Es war nicht bahnbrechend genug, um als 5 bezeichnet zu werden, und wurde möglicherweise in letzter Minute umbenannt
Es wird erwähnt, dass der Technikjournalismus übertrieben ist, da trotz der Veröffentlichung von o3 weiterhin kritische Artikel erscheinen
o1-Pro ist subjektiv deutlich besser als GPT-4, und o3 wird als noch besser eingeschätzt. Das deutet darauf hin, dass sich die Technologie schnell weiterentwickelt
Die Welt findet gerade heraus, wie diese Technologie sinnvoll eingesetzt werden kann, und dass ein Zeitplan verschoben wurde, wirkt fast komisch