- OpenAI-CEO Sam Altman sagte, dass die Forschungsstrategie, aus der ChatGPT hervorgegangen ist, inzwischen nicht mehr gültig sei und für die künftige Weiterentwicklung der künstlichen Intelligenz neue Ideen nötig seien
- OpenAI hat bestehende Machine-Learning-Algorithmen skaliert, um Sprachmodelle wie GPT-4 zu entwickeln, doch künftig werde es schwierig sein, allein durch weiteres Vergrößern der Modelle Fortschritte zu erzielen
- Die Entwicklung von GPT-4 kostete mehr als 100 Millionen US-Dollar, und aufgrund physischer Grenzen gibt es auch Beschränkungen beim Ausbau von Rechenzentren
- Forschungsrichtungen für AI nach GPT-4
- Auch Nick Frosst, Mitgründer von Cohere, stimmt zu, dass die reine Skalierung der Modellgröße an Grenzen stößt
- Neue AI-Modell-Designs (Architekturen) und Feinabstimmung durch menschliches Feedback könnten vielversprechende Forschungsrichtungen sein
- Die Entwicklung der Modelle der GPT-Serie
- Das 2019 vorgestellte GPT-2 war ein großes Modell mit 1,5 Milliarden Parametern
- 2020 wuchs GPT-3 mit 175 Milliarden Parametern massiv an, was auch andere Unternehmen und Forschungseinrichtungen dazu veranlasste, Modelle ähnlicher Größe zu entwickeln
- Die genaue Größe von GPT-4 wurde nicht offengelegt, doch es wird vermutet, dass neben bloßer Skalierung auch Verfahren wie Reinforcement Learning durch menschliches Feedback eingesetzt wurden
- Gesellschaftliche Auswirkungen und Kontroversen durch das Erscheinen von GPT-4
- Die erstaunlichen Fähigkeiten von GPT-4 haben Fachleute überrascht und Sorgen ausgelöst, dass AI die Wirtschaft verändern und Arbeitsplätze vernichten könnte
- Einige Fachleute und Unternehmer, darunter Elon Musk, veröffentlichten einen offenen Brief, in dem sie eine sechsmonatige Pause bei der Entwicklung von AI forderten, die leistungsfähiger als GPT-4 ist
- CEO Altman erklärte, dass OpenAI derzeit nicht an GPT-5 arbeite und dies vorerst auch nicht plane
Meinung von GN⁺
- Die Entwicklung großer Sprachmodelle wie GPT-4 erfordert enorme Kosten und Computing-Ressourcen, weshalb eine kontinuierliche Skalierung in der Praxis schwierig ist. Daher scheint es nötig zu sein, wie CEO Altman sagte, nach neuen Forschungsrichtungen zu suchen
- Da verschiedene Verfahren zur Verbesserung der Modellleistung erforscht werden, darunter Reinforcement Learning durch menschliches Feedback, ist zu erwarten, dass die Weiterentwicklung von AI nicht nur durch größere Modelle, sondern durch Innovationen im Algorithmus selbst vorangetrieben wird
- Mit dem Aufkommen leistungsstarker AI-Modelle wie GPT-4 sind weitreichende Veränderungen in der gesamten Gesellschaft zu erwarten. Deshalb werden neben der technologischen Entwicklung auch Bemühungen nötig sein, gesellschaftlichen Konsens über die damit verbundenen ethischen und rechtlichen Fragen zu finden
- Mit der schnellen Entwicklung der AI-Technologie werden zwar Bedenken wegen Nebenwirkungen wie dem Ersatz von Arbeitsplätzen laut, zugleich ergeben sich aber auch Chancen für neue Jobs und höhere Produktivität, sodass langfristige Gegenmaßnahmen gesucht werden sollten
- Da es für kleine und mittlere Startups nicht leicht sein dürfte, bei der Entwicklung großer AI-Modelle wettbewerbsfähig zu sein, scheint es notwendig, neue Geschäftsmodelle zu suchen, etwa Innovationen in spezialisierten Bereichen oder die Bereitstellung von Entwicklungsplattformen
2 Kommentare
Das ist ein Interviewartikel vom April letzten Jahres. Da er schon ganze ein Jahr alt ist, passt inzwischen einiges nicht mehr.
Als ich die Zusammenfassung gelesen habe, dachte ich: Von wann ist diese Geschichte denn bitte? Es war wohl ein Artikel von vor einem Jahr, hahaha.