- Ein selbstreferenzielles KI-Agentensystem, das seinen eigenen Lern- und Problemlösungsprozess eigenständig verbessert, um die Abhängigkeit von menschlichem Engineering zu verringern, und damit die Grenzen fester Meta-Mechanismen in bestehenden rekursiven Selbstverbesserungsansätzen überwindet
- Eine Struktur, die Task-Agenten (zur Ausführung von Zielaufgaben) und Meta-Agenten (die sich selbst und die Task-Agenten modifizieren) in einem einzigen editierbaren Programm integriert
- Das bisherige Darwin Gödel Machine (DGM) konnte sich nur im Coding-Bereich selbst verbessern, während HyperAgents auf Coding, Paper-Review, Robotik und Mathematikbewertung sowie weitere Domänen ausgeweitet wird
- Das Modifikationsverfahren auf Meta-Ebene ist selbst editierbar; der zentrale Unterschied ist daher metakognitive Selbstmodifikation, also die Verbesserung des Verbesserungsmechanismus selbst
- Experimente bestätigen, dass Verbesserungen auf Meta-Ebene zwischen Domänen übertragbar sind und sich über mehrere Ausführungen hinweg akkumulieren, was das Potenzial eines allgemeinen, sich selbst beschleunigenden KI-Systems zeigt
Grenzen bestehender Systeme zur Selbstverbesserung
- Ziel selbstverbessernder KI-Systeme ist es, die Abhängigkeit von menschlichem Engineering zu verringern, indem der Lern- und Problemlösungsprozess selbst automatisch verbessert wird
- Bestehende Ansätze zur rekursiven Selbstverbesserung beruhen auf festen, manuell entworfenen Meta-Level-Mechanismen, wodurch es eine grundlegende Grenze für die Geschwindigkeit gibt, mit der sich das System verbessern kann
Darwin Gödel Machine (DGM) und die Beschränkung auf den Coding-Bereich
- DGM (Zhang et al., 2025b) ist ein System, das offene Selbstverbesserung im Coding-Bereich demonstriert hat
- Es startet mit einem einzelnen Coding-Agenten, erzeugt und bewertet wiederholt selbstmodifizierte Varianten und erweitert so ein Stepping-Stone-Archiv für künftige Verbesserungen
- Da sowohl Bewertung als auch Selbstmodifikation Coding-Aufgaben sind, führt eine Verbesserung der Coding-Fähigkeiten direkt zu einer besseren Fähigkeit zur Selbstverbesserung
- Diese domänenspezifische Ausrichtung (domain-specific alignment) ist jedoch außerhalb des Coding-Bereichs im Allgemeinen nicht gegeben
Struktur des HyperAgents-Frameworks
- HyperAgents ist ein selbstreferenzieller Agent (self-referential agent), der zwei Komponenten in einem einzigen editierbaren Programm integriert
- Task-Agent (task agent): zuständig für das Lösen der Zielaufgabe
- Meta-Agent (meta agent): zuständig für die Modifikation von sich selbst und des Task-Agenten
- Entscheidend ist, dass das Modifikationsverfahren auf Meta-Ebene selbst editierbar ist und dadurch metakognitive Selbstmodifikation (metacognitive self-modification) realisiert wird
- Nicht nur das aufgabenbezogene Verhalten, sondern auch der Mechanismus zur Erzeugung künftiger Verbesserungen selbst kann verbessert werden
DGM-Hyperagents (DGM-H)
- Eine Erweiterung von DGM, konkretisiert als DGM-Hyperagents (DGM-H)
- Indem zugelassen wird, dass sich das Verbesserungsverfahren selbst weiterentwickelt, entfällt die Annahme einer domänenspezifischen Ausrichtung zwischen Aufgabenleistung und Selbstmodifikationsfähigkeit
- Theoretisch eröffnet dies die Möglichkeit, selbstbeschleunigenden Fortschritt bei jeder berechenbaren Aufgabe zu unterstützen
Experimentelle Ergebnisse und Domänenbreite
- Experimente wurden in verschiedenen Domänen durchgeführt, darunter Coding, Paper-Review, Belohnungsdesign in der Robotik und die Bewertung von Mathematiklösungen auf Olympiadeniveau
- DGM-H zeigt im Zeitverlauf eine kontinuierliche Leistungssteigerung
- Es erzielt überlegene Leistung gegenüber Baselines ohne Selbstverbesserung oder offene Exploration sowie gegenüber dem bestehenden DGM
Übertragung und Akkumulation von Verbesserungen auf Meta-Ebene
- Es zeigte sich, dass DGM-H den Prozess selbst verbessert, mit dem neue Agenten erzeugt werden
- Beispiele: Verbesserungen auf Meta-Ebene wie persistenter Speicher (persistent memory) und Leistungsnachverfolgung (performance tracking)
- Diese Verbesserungen auf Meta-Ebene sind zwischen Domänen übertragbar (transfer across domains) und können sich über mehrere Ausführungen hinweg akkumulieren (accumulate across runs)
Sicherheitsaspekte
- Alle Experimente wurden unter Sicherheitsvorkehrungen wie Sandboxing und menschlicher Aufsicht durchgeführt
- Enthalten ist auch eine Diskussion darüber, was Sicherheit im Kontext selbstverbessernder Systeme bedeutet, sowie über die weitreichenden Implikationen selbstverbessernder Systeme
Bedeutung
- DGM-Hyperagents zeigt das Potenzial eines offenen KI-Systems, das nicht nur nach besseren Lösungen sucht, sondern die Art und Weise der Verbesserung selbst fortlaufend verbessert
Noch keine Kommentare.