Die AGI-Entwicklung ist ins Stocken geraten. Neue Ideen werden gebraucht
Ankündigung des ARC Prize
- ARC Prize: Ein Wettbewerb mit Preisgeldern von über 1 Million US-Dollar zur Förderung offener AGI
- Ziel: Die AGI-Entwicklung durch neue Ideen beschleunigen und die ARC-AGI-Bewertung lösen
Intelligenz vs. Auswendiglernen
- Moderne AI: Arbeitet hauptsächlich, indem sie hochdimensionale Muster auswendig lernt und sie auf ähnliche Situationen anwendet
- Problem: Sie kann in neuen Situationen keine neuen Schlussfolgerungen erzeugen
- Allgemeine Intelligenz: Die Fähigkeit, neue Fertigkeiten effizient zu erwerben
- Notwendigkeit: Es werden neue Architekturen oder Algorithmen benötigt
Die Grenzen von LLMs
- Bestehende AI-Systeme: Können Menschen in bestimmten Spielen schlagen, sind aber nicht in der Lage, auf andere Spiele zu wechseln
- Scheitern der Generalisierung: AI kann sich nicht an neue Situationen anpassen
ARC-AGI
- Einführung: Vorgestellt in François Chollets Paper "On the Measure of Intelligence"
- Ziel: Bewertung von Systemen, die neue Fertigkeiten effizient erwerben und neue Probleme lösen können
- Aktueller Stand: Menschen erreichen 85 % bis 100 %, AI liegt bei nur 34 %
Open-Source-AGI-Entwicklung
- Problem: Seit GPT-4 ist die AGI-Forschung geschlossener geworden
- Geschichte: Die Entwicklung von LLMs ist das Ergebnis der Zusammenarbeit vieler Forschender
- Notwendigkeit: Open Source wird benötigt, um neue Ideen zu fördern
Ziele des ARC Prize
- Mehr Beteiligung an der Forschung: Die Zahl der Menschen erhöhen, die an AGI-Forschung teilnehmen
- Messung des AGI-Fortschritts: Eine objektive Methode zur Messung von AGI-Fortschritt verbreiten
- Lösung von ARC-AGI: Die ARC-AGI-Bewertung lösen und etwas Neues über das Wesen von Intelligenz lernen
Einstieg
- Teilnahme: Jede und jeder kann mitmachen, neue Ideen können von überall kommen
- Informationen: Details zum Format und zu den Preisgeldern des ARC Prize 2024
Meinung von GN⁺
- Bedeutung von Open Source: Open Source ist wichtig, um Innovation zu fördern und die Lücke zwischen kleinen und großen AI-Unternehmen zu verkleinern
- Bedarf an neuen Ideen: Der aktuellen AI-Forschung fehlen neue Ideen, was die AGI-Entwicklung bremst
- Regulierungsproblem: Falsche Annahmen könnten zu einer stärkeren Regulierung der AI-Forschung führen
- Vorteil von Wettbewerben: Wettbewerbe wie der ARC Prize können Forschende motivieren und neue Ideen fördern
1 Kommentare
Hacker-News-Kommentare
Simon Strandgaard hat an ARCathon 2022 und 2023 teilgenommen und dabei jeweils 3 bzw. 8 Aufgaben gelöst. Er sammelt derzeit Daten darüber, wie Menschen ARC-Aufgaben lösen, und hat bisher 4100 Interaktionsaufzeichnungen zusammengetragen. Außerdem stellt er verschiedene ARC-ähnliche Datensätze bereit.
Die Ansicht, dass das derzeitige datengetriebene Lernparadigma nicht generalisiert und nicht nachhaltig ist. Menschen können Katzen und Hunde auch ohne Tausende von Beispielen unterscheiden, Computer benötigen jedoch Millionen von Beispielen. In Bereichen mit knappen Daten kann Wissenstransfer schwierig sein.
ARC-Probleme erfordern viel räumliches Weltwissen, und statt abstraktem Schlussfolgern enthalten sie viele Elemente, die für die menschliche visuelle Verarbeitung intuitiv sind. Visuelle Mustererkennung spielt eine wichtige Rolle.
Die Behauptung, dass der ARC-Test auch für Menschen schwierig ist. Im ConceptARC-Test konnten 25–30 % der Menschen einfache Fragen nicht lösen. Das könnte den Nutzen von ARC einschränken.
Die Frage, ob es eine Rangliste für eine Version des Wettbewerbs ohne Beschränkungen gibt. Man würde gern die Leistung von GPT-4 sehen.
Die Meinung, dass ein Preisgeld von 1 Million US-Dollar für AGI-Forschung zu niedrig ist. Die Auswirkungen von AGI würden sich mindestens in Billionenhöhe bemessen lassen, und das derzeitige Preisgeld könnte am Ende nur dazu dienen, ein aktuelles öffentlich verfügbares LLM-Release feinzujustieren.
Die Ansicht, dass es für ein bestimmtes Puzzle mehrere gültige Antworten geben kann. Anhand des Beispiels lässt sich die erwartete Distanz nicht exakt bestimmen.
Die Meinung, dass ARC-Aufgaben zwar auf visuelle Mustererkennung abzielen, dies aber nicht die einzige Definition von Intelligenz sein kann. Mensch-KI-Kollaborationsintelligenz ist wichtig, und das Problem sollte als Optimierung eines Ziels mit mehreren Attributen neu formuliert werden.
François Chollets Aufsatz sei äußerst aufschlussreich und liefere die beste Antwort auf die Definition allgemeiner Intelligenz. Intelligenz über Lerneffizienz zu definieren hilft zu verstehen, warum menschliche Intelligenz so beeindruckend ist.
Die Ansicht, dass der ARC-Aufgabensatz zwar deutlich schwieriger ist als bestehende ML-Datensätze, aber nicht für AGI steht. Es ist nur ein neuer Datensatz, während der Ansatz dem bisherigen ähnelt. AGI könnte dieses Problem lösen, aber die Lösung des Problems ist kein garantierender Indikator für AGI.