Was ist ARC-AGI?
- ARC-AGI ist ein 2019 eingeführter Benchmark für künstliche Intelligenz, der darauf ausgelegt ist, die Fähigkeit eines Systems zu testen, aus minimalen Beispielen abstrakte Regeln abzuleiten und zu verallgemeinern.
- Der Datensatz besteht aus Puzzles, die IQ-Tests ähneln; jedes Puzzle bietet mehrere Beispielbilder, die die Grundregel zeigen, sowie ein Testbild, auf das diese Regel angewendet werden muss.
- Das Ziel beim Lösen von ARC-AGI ist es, die aktuellen Herausforderungen aufzuzeigen, die den Fortschritt der künstlichen Intelligenz behindern.
Unser Lösungsansatz
- Es wird vorgeschlagen, dass verlustfreie Informationskompression ein effektives Framework zum Lösen von ARC-AGI-Puzzles sein kann.
- Eine effizientere Kompression des Puzzles korreliert mit einer genaueren Lösung.
- CompressARC verwendet ein neuronales Netz als Decoder, und der Kodierungsalgorithmus optimiert nicht ein anderes Netzwerk, sondern die Parameter des Decoders und die Eingabeverteilung, um die am stärksten komprimierte Darstellung des Puzzles zu erhalten.
Beobachtungen beim Lernen des Netzwerks: Kästchen ausmalen
- Menschliche Lösung: Es wird erkannt, dass die Eingabe in Kästchen aufgeteilt ist und diese Kästchen auch in der Ausgabe erhalten bleiben und eingefärbt werden.
- CompressARC-Lösung: In den einzelnen Lernphasen versteht und wendet das Netzwerk die Regeln des Puzzles schrittweise an.
Herleitung unseres Lösungsansatzes
- Verlustfreie Informationskompression bedeutet, Informationen mit möglichst wenigen Bits darzustellen und sie dennoch aus dieser Bitrepräsentation rekonstruieren zu können.
- Es soll herausgefunden werden, welche Antwort ein System dekomprimieren würde, das den ARC-AGI-Datensatz am besten komprimiert.
Hilfe durch neuronale Netze
- Anstatt den Programmraum zu durchsuchen, wird ein Programm ausgewählt und die Vielfalt dem Eingaberaum überlassen.
- Es wird ein Programm geschrieben, das den Forward Pass eines neuronalen Netzes ausführt, und über den Eingaberaum gesucht.
Architektur
- Es wurde eine neuronale Netzwerkarchitektur entworfen, um ARC-AGI-Puzzles zu dekodieren.
- Das wichtigste Merkmal ist Äquivalenz, etwa das Befolgen symmetrischer Regeln.
Ergebnisse
- CompressARC erreichte 34,75 % im Trainingssatz und 20 % im Evaluierungssatz.
Puzzles, die lösbar sind, und Puzzles, die nicht lösbar sind
- CompressARC versucht, mithilfe bestimmter Fähigkeiten so viel wie möglich zu erschließen.
- Zum Beispiel können Muster über kurze Distanzen erweitert werden, aber nicht über lange Distanzen.
Kästchen ausmalen: Fallstudie
- Während des Trainings sinkt der Rekonstruktionsfehler sehr schnell und bleibt im Durchschnitt niedrig.
- Um zu verstehen, wie CompressARC das Puzzle löst, werden die in
z gespeicherten Repräsentationen analysiert.
Wie sich unsere Arbeit verbessern lässt
- Zum Zeitpunkt der Veröffentlichung von CompressARC gab es mehrere Ideen, die ausprobiert wurden oder nicht ausprobiert wurden.
- Einige Ideen, etwa gemeinsame Kompression durch geteilte Gewichte zwischen Puzzles, halten wir weiterhin für vielversprechend.
Noch keine Kommentare.