- Die Behauptung, LLMs seien nur stochastische Papageien, ist im Jahr 2025 fast verschwunden, und die meisten erkennen inzwischen an, dass interne Repräsentationen der Bedeutung von Prompts und der Richtung von Antworten existieren
- Chain of Thought (CoT) hat sich als zentrale Technik zur Verbesserung der Ausgabequalität von LLMs etabliert, indem Sampling in Modellrepräsentationen mit sequenziellem Token-Lernen durch Reinforcement Learning kombiniert wird
- Reinforcement Learning mit verifizierbaren Belohnungen hat Skalierungsmöglichkeiten jenseits von Token-Limits eröffnet und dürfte die nächste zentrale Entwicklungsrichtung der KI werden
- Der Widerstand gegen LLM-basierte Programmierunterstützung ist deutlich zurückgegangen; die Nutzung teilt sich in webbasierte Zusammenarbeit und unabhängige Coding-Agenten auf
- Forschung an Transformer-Alternativen und die Möglichkeit von AGI laufen parallel, und die Sichtweise gewinnt an Bedeutung, dass unterschiedliche Architekturen unabhängig voneinander allgemeine Intelligenz erreichen können
- Lange Zeit gab es die Behauptung, LLMs seien stochastische Maschinen (stochastic parrots) mit zwei Eigenschaften, die keine Bedeutung verstehen
- 1. Sie besitzen keinerlei Information über die Bedeutung des Prompts
- 2. Sie besitzen auch keinerlei Information darüber, was sie selbst sagen werden
- Durch die fortlaufende Anhäufung funktionaler Erfolge und wissenschaftlicher Hinweise verlor diese Sichtweise zunehmend an Überzeugungskraft und ist bis 2025 nahezu verschwunden
- Chain of Thought (CoT) hat sich mittlerweile als Schlüsseltechnik zur Verbesserung der LLM-Leistung etabliert
- Die Wirkung von CoT besteht darin, relevante Informationen und Konzepte in den Kontext zu heben und so Sampling im internen Repräsentationsraum des Modells, also eine interne Suche, zu ermöglichen
- In Kombination mit Reinforcement Learning lernt das Modell, indem es Token einzeln setzt, seinen Zustand zu verändern und auf nützliche Antworten zu konvergieren
- Die bisherige Sicht, dass die Grenzen der Skalierung durch die Anzahl der Token bestimmt werden, ist nicht länger gültig
- Mit der Einführung von Reinforcement Learning auf Basis verifizierbarer Belohnungen (RLVR) wurde der Bereich der Skalierung erweitert
- Bei Aufgaben mit klaren Belohnungssignalen, etwa der Verbesserung der Programmausführungsgeschwindigkeit, besteht theoretisch die Möglichkeit langfristiger kontinuierlicher Verbesserungen
- Fortschritte beim für LLMs eingesetzten Reinforcement Learning werden zur Schlüsseltechnologie der nächsten KI-Generation werden
- Der Widerstand von Entwicklerinnen und Entwicklern gegen KI-gestützte Programmierung ist spürbar gesunken
- Auch wenn LLMs Fehler machen, hat sich ihre Fähigkeit, nützlichen Code und hilfreiche Hinweise zu liefern, stark verbessert
- Da der Nutzen im Verhältnis zur Investition klarer geworden ist, beginnen selbst zuvor skeptische Entwicklerinnen und Entwickler mit dem Einsatz
- Es koexistieren die Nutzung von LLMs wie eines Kollegen über ein Web-Interface und die Nutzung als eigenständiger Coding-Agent
- Unter einigen renommierten KI-Wissenschaftlern verbreitet sich die Auffassung, dass auch nach dem Transformer ein weiterer Durchbruch möglich ist
- Teams und Unternehmen, die Transformer-Alternativen, explizite symbolische Repräsentation (symbolic representation) und World Models (world model) erforschen, treten auf den Plan
- LLMs werden als differenzierbare Maschinen betrachtet, die in einem Raum trainiert wurden, der diskrete Schlussfolgerungsschritte approximieren kann
- Es wird angenommen, dass AGI mit LLMs auch ohne ein grundlegend neues Paradigma erreichbar sein könnte
- Es besteht die Möglichkeit, dass künstliche allgemeine Intelligenz (AGI) über verschiedene Architekturen hinweg unabhängig erreicht werden kann
- Es wird auch die Behauptung vorgebracht, dass Chain of Thought das Wesen von LLMs verändert habe
- Es zeigt sich, dass manche, die LLMs früher als begrenzt betrachteten, nach CoT ihre Position änderten
- Sie sagen, LLMs seien durch CoT völlig anders geworden, doch das ist falsch
- Es bleibt dieselbe Architektur mit demselben Next-Token-Ziel, und CoT folgt weiterhin genau dem Mechanismus, bei dem Token einzeln erzeugt werden
- Der frühere ARC-Test zur Überprüfung der Grenzen von LLMs hat sich inzwischen zu einem Maßstab für den Nachweis der LLM-Leistung gewandelt
- Der ARC-Test erscheint anders als in der Anfangszeit nicht mehr als unüberwindbare Aufgabe
- Kleine, auf bestimmte Aufgaben optimierte Modelle erzielen bei ARC-AGI-1 bedeutende Ergebnisse
- Mit einer Architektur, von der viele glaubten, sie werde keine Ergebnisse liefern, wurden beeindruckende Resultate bei ARC-AGI-2 mit großen LLMs und umfangreichem CoT erzielt
- Die grundlegendste Herausforderung, vor der KI in den nächsten 20 Jahren stehen wird, ist die Frage, wie das Aussterben der Menschheit vermieden werden kann
Noch keine Kommentare.