ARC-AGI ohne Vortraining lösen

• Bei Problemen wie ARC-AGI, bei denen aus wenigen Beispielen Regeln gefunden werden müssen, findet CompressARC Lösungen allein durch puzzlebezogenes Lernen zur Inferenzzeit – ohne Vortraining, externe Datensätze oder groß angelegte Suche.
• Die Kernidee ist ein Experiment dazu, ob intelligentes Verhalten entstehen kann, wenn man das Ziel optimiert, dass eine Puzzle-Darstellung inklusive richtiger Antwort durch verlustfreie Informationskompression kürzer wird.
• Auf einer RTX 4070 benötigt das System etwa 20 Minuten pro Puzzle und erreicht 34,75 % auf dem Trainingssatz sowie 20 % auf dem Evaluierungssatz; charakteristisch ist dabei ein neuronaler Ansatz, der nur das jeweilige Ziel-Puzzle als Trainingsdaten verwendet.
• Die Architektur ist mit Fokus auf Äquivarianz gegenüber Beispielreihenfolge, Farbpermutationen sowie Rotation und Spiegelung entworfen und nutzt eine Multitensor-Darstellung, die Tensoren mehrerer Ränge bündelt.
• Stärken zeigt das System bei Farb-Prozedur-Zuordnung, Füllen, Zuschneiden, Punktverbinden und kurzen Verschiebungen, während Zählen, Mustererweiterung über große Distanzen, Rotation/Kopieren/Skalierung und agentisches Planen weiterhin Engpässe bleiben.

---

Experiment: Lässt sich ARC-AGI allein durch Kompression lösen?

• Die zentrale Frage ist, ob sich intelligentes Verhalten allein durch verlustfreie Informationskompression erzeugen lässt.
• CompressARC ist ein Verfahren für ARC-AGI-Puzzles, das ausschließlich mit einer kompressionsbasierten Zielfunktion arbeitet.
• Es gibt drei Einschränkungen:
  • Kein Vortraining: Das Modell wird zufällig initialisiert und erst zur Inferenzzeit trainiert.
  • Kein Datensatz: Ein Modell lernt nur genau ein Ziel-ARC-AGI-Puzzle und gibt genau eine Antwort aus.
  • Keine Suche: Es wird, in den meisten sinnvollen Bedeutungen, keine Suche verwendet, sondern nur Gradientenabstieg.
• Die Ergebnisse liegen bei 34,75 % auf dem Trainingssatz und 20 % auf dem Evaluierungssatz; jedes Puzzle dauert auf einer RTX 4070 ungefähr 20 Minuten.
• Laut Beschreibung ist dies der erste neuronale Ansatz für ARC-AGI, der nur das Ziel-Puzzle selbst als Trainingsdaten verwendet.

Problemstellung von ARC-AGI

• ARC-AGI ist ein 2019 vorgestellter AI-Benchmark, der die Fähigkeit testet, aus wenigen Beispielen abstrakte Regeln abzuleiten und zu generalisieren.
• Jedes Puzzle liefert mehrere Eingabe-Ausgabe-Beispiele und eine Testeingabe; das System muss das Test-Ausgabegitter korrekt vorhersagen.
• Pro Puzzle sind zwei Versuche erlaubt; wenn einer davon richtig ist, gibt es 1 Punkt.
• Die Größe des Ausgabegitters darf verändert werden, und die Farbe jedes Pixels kann gewählt werden.
• Die Puzzles sind so entworfen, dass Menschen sie vernünftigerweise lösen können, Maschinen aber deutlich schwerer damit tun.
  • Durchschnittliche Menschen lösen 76,2 % des Trainingssatzes.
  • Menschliche Experten lösen 98,5 %.
• Die 400 Trainingspuzzles sind leichter als die übrigen und sollen das Lernen folgender Muster ermöglichen:
  • Objekthaftigkeit: Objekte erscheinen oder verschwinden nicht grundlos.
  • Zielgerichtetheit: Einige Objekte verhalten sich wie Agenten mit Absichten.
  • Zahlen und Zählen: Objektanzahl, Ausrichtung, Vergleich sowie einfache Mathematik wie Addition und Subtraktion werden genutzt.
  • Geometrie und Topologie: Enthalten sind Spiegelung, Rotation, Verschiebung, Transformation, Kombination, Wiederholung und Distanzunterschiede von Formen.
• Beim jüngsten Kaggle-Wettbewerb des ARC Prize gab es Preisgelder von insgesamt mehr als 1 Million US-Dollar; der Hauptpreis war für ein Verfahren vorgesehen, das unter eingeschränkten Bedingungen mit 12 Stunden Rechenzeit bei 100 nicht öffentlichen Aufgaben 85 % erreicht.

Wie CompressARC funktioniert

• In CompressARC sind Darstellungen, die sich in weniger Bits komprimieren lassen, mit genaueren Puzzle-Lösungen verknüpft.
• Das System sucht eine komprimierte Darstellung, die ein unvollständiges Puzzle in ein vollständiges Puzzle überführt, sodass durch Dekompression Puzzle und Lösung rekonstruiert werden.
• Das neuronale Netz übernimmt die Rolle des Decoders.
  • Es gibt kein separates Encoder-Netz.
  • Das Kodieren wird zur Inferenzzeit durch Gradientenabstieg realisiert, der den Decoder trainiert.
  • Die optimierten Gewichte und die Einstellungen der Eingabeverteilung dienen als komprimierte Bit-Darstellung für Puzzle und Antwort.
• In Standarddarstellung des Machine Learning ergibt sich folgender Ablauf:
  • Es wird ein ARC-AGI-Puzzle eingelesen.
  • Ein neuronales Netz f wird passend zur Anzahl der Beispiele und der beobachteten Farben des Puzzles aufgebaut.
  • Es erhält eine zufällige normale Eingabe z ~ N(μ, Σ) und gibt für alle Gitter Pixel-für-Pixel Farblogits aus.
  • Die Summe der Kreuzentropie für bekannte Gitter wird minimiert, während das Antwortgitter ignoriert wird.
  • Es gibt eine KL-Divergenz-Strafe, damit N(μ, Σ) nahe bei N(0,1) bleibt.
  • Während des Trainings werden erzeugte Antwortgitter gespeichert, und die am häufigsten auftretende Antwort wird als endgültige Vorhersage gewählt.
• fθ ist äquivariant gegenüber üblichen Augmentierungen wie Permutation der Reihenfolge von Eingabe-Ausgabe-Paaren, Farbpermutationen und räumlicher Rotation bzw. Spiegelung.

Herleitung aus Sicht der Kompression

• Verlustfreie Kompression ist das Problem, Informationen mit möglichst wenigen Bits darzustellen und aus dieser Bit-Darstellung das Original exakt wiederherzustellen.
• Bei ARC-AGI müsste man eigentlich das vollständige Paar aus Puzzle und Antwort als Symbol komprimieren, praktisch hat der Encoder die Antwort jedoch nicht als Eingabe, und die Verteilung zur Puzzle-Erzeugung ist unbekannt.
• Es wird angenommen, dass für den ARC-AGI-Datensatz ein praktisch implementierbares, bit-effizientes Kompressionssystem existiert.
• Selbst ohne Kenntnis der Verteilung p lässt sich ein universeller Kompressor denken, der die Länge len(f)+len(s) eines Programms f und einer Eingabe s minimiert.
  • Der Decoder rekonstruiert das Original durch Ausführen von f(s).
  • Nach der algorithmischen Informationstheorie kann er gegenüber dem ursprünglichen Kompressor höchstens um die Länge von f ineffizienter sein.
  • Praktisch ist ein Encoder, der den Programmraum durchsucht, jedoch nicht brauchbar.
• CompressARC ersetzt die Suche im Programmraum durch einen Forward Pass eines neuronalen Netzes als festes Programm.
  • s besteht aus Gewichten θ, Eingabe z und einer Ausgabekorrektur ε.
  • θ und z verwenden im Sinn von Relative Entropy Coding (REC) eine Code-Längen-Betrachtung, ε im Sinn von Arithmetic Coding.
  • Die Code-Länge der Ausgabekorrektur entspricht der gesamten Kreuzentropie der bekannten Gitter.
  • Die Code-Länge von z ist KL(pz || qz), wobei qz = N(0,I) gesetzt wird.
• Die gesamte Code-Länge hat dieselbe Form wie der VAE-Loss:
  • Rekonstruktionsfehler
  • KL für z
  • Decoder-Regularisierung
• Die Implementierung von CompressARC enthält gegenüber dieser Herleitung zusätzliche Anpassungen bei einem Teil der Regularisierung sowie in Bezug auf Äquivarianz und die Unabhängigkeit zwischen Puzzles.

Architektur: Multitensor und Äquivarianz

• Das wichtigste Merkmal der Architektur ist Äquivarianz.
  • Wenn die Eingabe z transformiert wird, muss auch das ausgegebene ARC-AGI-Puzzle auf dieselbe Weise transformiert werden.
  • Beispiele dafür sind das Umordnen von Eingabe-Ausgabe-Paaren, Farbdurchmischung sowie Flippen, Drehen und Spiegeln von Gittern.
• Das Design geht so vor, dass zunächst eine vollständig symmetrische Grundarchitektur erstellt und dann durch asymmetrische Layer die nötigen nicht-äquivarianten Fähigkeiten hinzugefügt werden, um unnötige Symmetrien schrittweise aufzubrechen.
• Interne Daten fließen im Format eines Multitensors.
  • Das ist ein Bündel aus Tensoren mit mehreren Rängen und Shapes.
  • Die Dimensionen sind Teilmengen von maximal [n_examples, n_colors, n_directions, height, width, n_channels].
  • Die channel-Dimension bleibt immer erhalten.
  • Durch Regeln wird die Zahl zulässiger Tensoren im Multitensor auf 18 reduziert.
• Ein Puzzle kann als Tensor [examples, colors, height, width, channel] dargestellt werden.
  • channel dient zur Auswahl von Eingabe- oder Ausgabegitter.
  • width und height repräsentieren Pixelpositionen.
  • Die color-Dimension enthält die One-Hot-Darstellung der Pixelfarben.
• Die Gesamtarchitektur folgt diesem Ablauf:
  • Start bei den Verteilungsparametern von z
  • Decoding Layer
  • Vier Wiederholungen von Multitensor Communication, Softmax, Directional Cummax, Directional Shift, Directional Communication, Nonlinear und Normalization
  • Linear Heads geben die Verteilung über ARC-AGI-Puzzles aus

Leistungsergebnisse

• Das Training läuft mit Adam über 2000 iterations.
  • Die Lernrate beträgt 0.01.
  • β1 = 0.5, β2 = 0.9
• Ergebnisse auf dem Trainingssatz:
  • 100 iteration: Pass@2 2,25 %
  • 500 iteration: Pass@2 27,5 %
  • 1000 iteration: Pass@2 31,75 %
  • 2000 iteration: Pass@2 34,75 %
  • Pass@1000 bei 2000 iteration liegt bei 52,75 %
• Ergebnisse auf dem Evaluierungssatz:
  • 100 iteration: Pass@2 1,25 %
  • 500 iteration: Pass@2 15 %
  • 1000 iteration: Pass@2 19,25 %
  • 2000 iteration: Pass@2 20 %
  • Pass@1000 bei 2000 iteration liegt bei 33,75 %
• Da ARC-AGI mit zwei Versuchen bewertet wird, ist das zentrale Ergebnis im Text Pass@2.

Lösbare und schwierige Puzzles

• CompressARC erkennt Regeln so weit, wie es seine Fähigkeiten erlauben, stößt aber an Engpässe dort, wo die Architektur notwendige Fähigkeiten nicht besitzt.
• Beispiele für Aufgaben, die möglich sind:
  • Einzelne Farben einzelnen Prozeduren zuordnen
  • Füllen
  • Zuschneiden
  • Punkte verbinden, auch entlang von 45-Grad-Diagonalen
  • Gleiche Farben erkennen
  • Pixel-Nachbarschaft identifizieren
  • Farbzuordnung pro Beispiel
  • Teile von Formen erkennen
  • Verschiebungen über kurze Distanzen
• Es gibt auch klar schwierige Aufgaben:
  • Zwei Farben einander zuordnen
  • Dieselbe Operation mehrfach hintereinander wiederholen
  • Verschieben, Drehen, Spiegeln, Skalieren, Bildduplizieren
  • Topologische Eigenschaften wie Zusammenhang erkennen
  • Agentisches Planen und Simulieren von Verhalten
  • Mustererweiterung über große Distanzen
• Im Trainingspuzzle 28e73c20 muss ein Muster vom Rand zur Mitte erweitert werden; CompressARC schafft kurze Erweiterungen, verlässt sich nahe der Mitte aber auf Vermutungen.

Beispiel: Color the Boxes

• In der menschlichen Lösung wird erkannt, dass die Eingabe in Kästen unterteilt ist und diese im Output eingefärbt werden.
  • Die Ecken sind immer schwarz.
  • Die Mitte ist immer magenta.
  • Kästen an den Seiten erhalten je nach Richtung oben Rot, unten Blau, rechts Grün und links Gelb.
• Der Lernverlauf von CompressARC verändert sich schrittweise:
  • 50 step: Es wird berücksichtigt, dass hellblaue Zeilen und Spalten der Eingabe auch im Output Entsprechungen haben.
  • 150 step: Die Ausgabe zeigt eine Form, bei der nahe Pixel ähnliche Farben erhalten.
  • 200 step: Größere Farbbereiche, die durch hellblaue Grenzen getrennt sind, sowie schwarze Eckbereiche werden nachgeahmt.
  • 350 step: Die Kastenfarben passend zur Richtung relativ zum Zentrum werden überwiegend richtig getroffen.
  • 1500 step: Der Output ist fast bereinigt, in Samples bleiben aber selten Fehler.
• Die Analyse der gelernten z-Verteilung zeigt, dass sie eine Farb-Richtungs-Zuordnungstabelle sowie die Positionen der Zeilen- und Spaltentrenner kodiert.
• Nur vier Tensoren behalten Informationsgehalt:
  • (examples, height, channel): enthält die Position der hellblauen Zeilen in jedem Beispiel
  • (examples, width, channel): enthält die Position der hellblauen Spalten in jedem Beispiel
  • (direction, color, channel): enthält die Zuordnung von Richtung zu Farbe
  • (color, channel): unterscheidet die besondere Rolle von Magenta und Hellblau

Weitere Beispiele und Analyse der Repräsentationen

• Bounding-Box-Puzzle 6d75e8bb

  • Die menschliche Lösung zeichnet die kleinste hellblaue Box, die die rote Form umschließt.
  • CompressARC zeigt nach 100 step Spuren eines erkannten gemeinsamen Bounding Box und findet nach 150 step die Antwort, die im weiteren Training verfeinert wird.
  • Die wichtigsten überlebenden Tensoren sind (examples, height, channel), (examples, width, channel) und (color, channel).
  • Die Zeilen- und Spaltentensoren markieren Zeilen und Spalten mit vielen hellblauen Pixeln, aber es bleibt unklar, wie daraus die genaue Randposition hervorgeht.

• Center-Cross-Puzzle 41e4d17e

  • Vom Zentrum der blauen Bubble in der Eingabe aus werden magentafarbene Strahlen nach oben, unten, links und rechts gezogen; die Bubble-Farbe muss dabei über den Strahlen liegen.
  • CompressARC kopiert zunächst die Eingabe, dann erscheinen magentafarbene Zeilen und Spalten und stabilisieren sich allmählich an den richtigen Positionen.
  • Ein Fehler, bei dem die Strahlen wie in einer menschlichen Fehlstrategie über die Bubble gezeichnet würden, tritt nicht auf.
  • Die überlebenden Tensoren sind (examples, height, width, channel) und (color, channel).
  • (examples, height, width, channel) kodiert das Zentrum der Bubble.

Ideen zur Verbesserung

• Statt jedes Puzzle separat zu komprimieren, könnte man den gesamten ARC-AGI-Datensatz gemeinsam komprimieren, um Berechnungen zwischen Puzzles zu teilen und bessere induktive Biases zu erhalten.
  • In Frage kommt, dieselben Netzgewichte für alle Puzzles zu verwenden und pro Puzzle nur begrenzte perturbation zuzulassen.
  • Vorgeschlagen wird auch ein Hypernetwork-Ansatz, bei dem hochdimensionale Puzzle-Embeddings gelernt werden und daraus per linearer Abbildung die Netzgewichte erzeugt werden.
  • Diese Richtung wurde nicht ausprobiert, weil sie die Geschwindigkeit von Forschungsiterationen verlangsamen könnte.
• Für Aufgaben zum Kopieren von Formen könnten convolution-artige Layer nützlich sein.
  • Wenn ein Gitter die Form speichert und ein anderes die Zielposition des Kopiervorgangs angibt, könnte convolution das Kopierergebnis erzeugen.
  • Gewöhnliche convolution verstärkte jedoch Rauschen stärker als Signal.
  • Tropical convolution funktionierte bei Spielzeug-Puzzles gut, reichte aber für ARC-AGI-Trainingspuzzles nicht aus.
• Auch eine Abmilderung von posterior collapse durch einen KL floor wurde in Betracht gezogen.
  • Es wurde beobachtet, dass der KL-Wert wichtiger Tensoren, wenn er auf 0 fällt, sich nicht wieder erholt.
  • Wenn KL für eine gewisse Zeit über 0 gehalten wird, könnte das Netz lernen, die betreffende Information zu nutzen.
  • Das wurde implementiert, es wurden aber keine Fälle gesehen, in denen Tensoren zurückkehrten; vermutlich müsste der KL-floor-Schedule anders gestaltet werden.
• Regularisierung wird in der Implementierung nicht verwendet.
  • In der Problemformulierung ist sie ein Element zur Messung der Komplexität von f und Teil der CompressARC-Herleitung.
  • Ihr Ausschluss in der Implementierung wird als etwas gewagt bewertet.

Verwandte Arbeiten und Forschungseinordnung

• Die Idee einer Äquivalenz von Kompression und Intelligenz ist vom Hutter Prize inspiriert.
  • Der Hutter Prize zeichnet Systeme aus, die eine Wikipedia-Textdatei am besten komprimieren, und verknüpft Informationskompression mit Intelligenz.
• Zum theoretischen Hintergrund gehören Solomonoff Induction, Kolmogorov Complexity und Minimum Description Length.
• Aus informationstheoretischer Sicht ist Relative Entropy Coding zentral.
  • Die Idee ist, dass sich bei kontrollierbarer KL-Divergenz ein Kompressionsalgorithmus konstruieren lässt; Probleme der konkreten Implementierung binärer Codes werden dabei abstrahiert.
• Aus VAE-Sicht übernimmt der Decoder die Rolle des Dekompressionsalgorithmus.
  • Auch eine neural Turing machine mit allgemeineren Fähigkeiten wäre denkbar, eignet sich aber schlechter für Optimierung per Gradientenabstieg, weshalb der VAE-Weg gewählt wurde.
  • Eine Regewichtung des Rekonstruktionsverlusts im Stil von beta-VAE funktioniert in diesem Fall gut.
• Bestehende ARC-AGI-Ansätze nutzen meist LLMs, Datenaugmentation, alternative Datensätze, Test-Time-Learning oder Programmsuche auf Basis domänenspezifischer Sprachen.
• CompressARC betont, dass es sich um einen Deep-Learning-Ansatz ohne externes Vortraining und ohne groß angelegte Suche handelt.
• Der Projektcode ist auf GitHub veröffentlicht.

[GN⁺]

Meinungen auf Hacker News

• Groß angelegtes Pretraining fühlt sich so an, als widerspreche es dem Gedanken von Allgemeinheit
  Wenn man eine allgemeine Maschine gebaut hat, die aus nur 3 Beispielen ein Programm synthetisieren kann, das das 4. vorhersagt, dann hat man im Grunde Oracle-Synthese gelöst
  Wenn man umgekehrt ein Netzwerk mit dem gesamten menschlichen Wissen einschließlich der Erstellung solcher Rätsel trainiert, es auf 99 % des Datensatzes finetuned und es dann beim letzten 1 % mehrfach versuchen lässt, dann hat man eher einen teuren Kompressor gebaut, der die Psychologie der Testautoren komprimiert

  • Das offenbart eine ziemlich naive Sicht auf Wissen und Verstehen
    Es setzt voraus, dass es einen platonischen Bereich von Logik und Vernunft gibt, zu dem eine AGI nur Zugang bekommen muss; ohne Kontext kann es aber weder Bedeutung noch Schlussfolgern noch Logik geben
    Um geometrische Muster zu erkennen, braucht man den Begriff von Formen; dieser setzt Konzepte räumlicher Beziehungen voraus, die wiederum ein Konzept von zwei- oder dreidimensionalem Raum voraussetzen
    Dass solche Dinge selbstverständlich und implizit wirken, liegt daran, dass sie tief in der Umgebung verwurzelt sind, für deren Interpretation der menschliche Geist über Hunderte Millionen Jahre evolviert ist und die er über Jahrzehnte konsumiert und verarbeitet hat
    Der eigentliche Test für AGI ist die Fähigkeit, unterschiedliche Informationen zu einem konsistenten Weltbild zu assimilieren, und Pretraining tut im Grunde genau das
    Selbst bei einer Intelligenz mit dieser Fähigkeit ist es sehr wahrscheinlich, dass strukturelle Annahmen über die Welt, in der sie sich befinden wird, „vorab geladen“ sein müssen. Ähnlich wie Hirnareale, die auf räumliche Beziehungen, Sprache und sensorische Interpretation spezialisiert sind
  • Wenn eine Maschine, sobald sie auf einen neuartigen Problemtyp trifft, selbst entscheiden kann, wie sie lernen soll, also wie sie ihre Gewichte anpasst, widerspricht das meiner Ansicht nach nicht dem Gedanken allgemeiner Intelligenz
    Auch Menschen finden heraus, wie sie eine Aufgabe üben sollten, wenn sie in etwas besser werden wollen, und lernen dann tatsächlich auf eine Weise, die sie verbessert
  • Stimmt. Genau dort liegt auch das Problem vieler aktueller Paradigmen, sie erlauben keine echte Generalisierung
    Deshalb glauben manche, dass es vorerst keine AGI geben wird: https://www.lycee.ai/blog/why-no-agi-openai
  • Ich denke, der Großteil menschlichen Lernens stammt aus jahrelangem sensorischem Input
    Ich sehe keinen Grund, warum man erwarten sollte, dass eine Maschine ohne Hintergrundwissen gut generalisiert
  • ARC entspricht einer Verteilung über 4-Tupel von Bildern, und ohne Prior-Verteilung ist das letzte Bild bei gegebenen ersten drei gleichverteilt

• Ich musste an den Lex-Fridman-Podcast mit Marcus Hutter denken
  Joshua Bach hat Intelligenz ebenfalls als die Fähigkeit definiert, die Realität akkurat zu modellieren; ich frage mich, ob verlustfreie Kompression selbst Intelligenz ist oder eher das optimal passende Modell. Gibt es zwischen beidem einen Unterschied?
  https://www.youtube.com/watch?v=E1AxVXt2Gv4

  • Zur Einordnung: François Chollet, der ARC-AGI entwickelt hat, argumentierte 2020 im Lex-Fridman-Podcast, dass Intelligenz keine Kompression ist: https://youtu.be/-V-vOXLyKGw
  • Intelligenz ist die Fähigkeit, ein einfaches Modell zu finden, das eine komplexe Realität mit hoher Genauigkeit und geringer Latenz vorhersagt
    Daher muss man vier Achsen betrachten: Einfachheit, Genauigkeit, Latenz und Komplexität der Realität; künstliche Intelligenz wird irgendein Bereich in diesem Raum sein
    Tatsächlich gibt es einen einfachen Test, der Intelligenz unterscheidet: Kann man den Code einer C-Funktion lesen und sagen, wie sich Änderungen an der Eingabe auf die Ausgabe auswirken?
    Bei komplexen Algorithmen muss man ein internes Modell erstellen. Wie sollte man sonst im Kopf ausführen, wie qsort über eine Million Einträge läuft?
    Auf dieselbe Weise kann man auch unterscheiden, ob ein Student nur so tut, als hätte er es verstanden, oder es wirklich verstanden hat
    Ein schwierigerer Test ist umgekehrt, aus nur wenigen Ein- und Ausgabebeispielen einen Algorithmus zu entwickeln
  • Ohne den ganzen Podcast gesehen zu haben, kurz die Verbindung: Hutters Position zeigt sich in Form des Hutter Prize[1]; in mancher Hinsicht ähnelt sein Ziel stark ARC-AGI, aber er sieht Kompression selbst als Referenzpunkt auf dem Weg zu Intelligenz
    [1] http://prize.hutter1.net/

• Ich versuche, das Wesentliche dieses Ansatzes herauszuarbeiten, aber es scheint hinter unwesentlichen Details wie der Wahl eines bestimmten Kompressionsverfahrens oder einer Prior-Verteilung verborgen zu sein.
  Die zentrale Innovation scheint darin zu liegen, ein „Modell“ zu konstruieren, das sich per Gradientenabstieg optimieren lässt, und dessen Optimum das „einfachste“ Modell ist, das sich die Eingabe-Ausgabe-Beziehung merkt.
  „Einfachheit“ bedeutet hier konkret „effizient komprimierbar“, allgemeiner aber wohl eher, dass die Modellkomplexität so niedrig wie möglich ist.
  Das steht in deutlichem Kontrast zum Standard-Machine-Learning. Üblicherweise wählt man zuerst die Modellstruktur und verschiedene Komplexitätsparameter, legt damit ein Komplexitätsbudget fest und trainiert dann mit Daten, um eine Lösung zu finden, die sich die Eingabe-Ausgabe-Beziehungen gut merkt.
  Diese neue Methode dreht Machine Learning um. Die Eingabe-Ausgabe-Paare werden weiterhin gemerkt, aber optimiert wird darauf, die Modellkomplexität maximal zu senken.
  Dass man mit nur zwei Trainingsbeispielen generalisieren kann, ist wirklich erstaunlich und deutet stark darauf hin, dass dies die richtige Richtung im Umgang mit Generalisierung ist.
  Der Weg, auf dem die Autoren zu dieser Struktur gelangt sind, war Informationstheorie, aber ich bin mir nicht sicher, ob das der Kern ist.
  Der Kern scheint eher die Einsicht zu sein, dass man statt des besten Modells innerhalb eines festen Komplexitätsbudgets das mögliche Modell minimaler Komplexität finden kann.

  • Die Idee der Komplexitätsminimierung ist nicht so neu, wie sie wirkt.
    Zur Verlustzielfunktion der Optimierung wird häufig ein Regularisierungsterm hinzugefügt, und diese Regularisierung lässt sich oft als Bestrafung von Komplexität interpretieren.
    Dank Dualität kann man dieselbe Zielfunktion auf mehrere Arten betrachten: als Minimierung einer gewichteten Summe aus Datenfehler und Komplexität, als Minimierung der Komplexität bei gleichzeitiger Begrenzung des Datenfehlers unterhalb eines Schwellenwerts oder als Minimierung des Datenfehlers bei gleichzeitiger Begrenzung der Komplexität unterhalb eines Schwellenwerts.
    Diese klassische Regularisierung scheint in letzter Zeit aus der Mode gekommen zu sein.
    Ich glaube nicht, dass sie in den meisten Transformer-Architekturen eine große Rolle spielt, aber es wäre interessant, wenn sie in irgendeiner Form zurückkäme.
    Abgesehen davon enthält dieser Ansatz so viele neue Elemente, dass schwer zu unterscheiden ist, was tatsächlich die Leistung bringt.
    Zum Beispiel scheint auch die neuronale Netzwerkarchitektur selbst recht sorgfältig darauf abgestimmt zu sein, die Leistung bei Aufgaben vom Typ ARC-AGI zu maximieren, und es ist nicht wirklich erkennbar, wie sie darüber hinaus generalisieren würde.
  • Bei den Kernbestandteilen scheint das zu stimmen, aber dieses Ergebnis fühlt sich ziemlich ARC-AGI-spezifisch an.
    Jedes Puzzle hat ein ähnliches Format, und die Daten, die sich innerhalb eines Puzzles ändern, entsprechen fast genau den Informationen, die zum Ableiten der Regel nötig sind.
    Wenn man die Informationsmenge reduziert, die zur Beschreibung der Regel nötig ist, bleibt dem Codec zur Minimierung des Informationsverlusts fast nichts anderes übrig, als sich auf das zu reduzieren, was im Grunde die Regel selbst tut.
    Wenn jedes Puzzle mehr Rauschen oder zufällige Daten enthielte, hätte diese Technik meiner Meinung nach nicht funktioniert.
    Natürlich sollte ein Puzzle ab einem gewissen Punkt nicht zu „herausfinden, wo das Puzzle überhaupt steckt“ werden, aber hier funktioniert es, weil jedes Beispiel reine Information über das Puzzle selbst liefert.

• Interessant. Ich denke zunehmend, dass die Zukunft des Machine Learning vielleicht gerade weniger „Machine Learning“ in dem Sinne enthalten wird, an den wir uns gewöhnt haben.
  Weniger Pretraining, Daten und Suche, dafür mehr direkte Repräsentation, symbolische Verarbeitung, Constraint Satisfaction und Meta-Learning.
  Die Dinge, die weniger nötig werden dürften – Pretraining, Daten usw. –, sind unordentlich, brachial und kontingent.
  Wenn man sich darauf verlässt, bleibt man immer von der Datenqualität abhängig; für Data Mining ist das in Ordnung, aber nicht, wenn das Ziel ist, die zugrunde liegenden Ursachen der Daten zu modellieren.
  So wie ich es verstehe, versuchen sie eher, die minimale Repräsentation des Lösungs-/Problemraums offenzulegen.
  Über Äquivarianz verfolgen sie die tatsächliche Struktur des Problems und leiten etwas ab, das der realen zugrunde liegenden Repräsentation des Puzzles und seiner Lösungsmethode näherkommt, statt darauf zu hoffen, dies zufällig aus vielen Lösungsbeispielen aufzuschnappen.

• Großartige Dokumentation und Erklärung. Schön, weil es auch zu meiner Selbstreflexion passt.
  Ich sehe es so: „Intelligenz ist das Komprimieren von Information in eine irreduzible Repräsentation.“

  • Schöne Formulierung von Intelligenz.
    https://en.wikipedia.org/wiki/Kolmogorov_complexity
    https://en.wikipedia.org/wiki/Solomonoff%27s_theory_of_induc...
    https://en.wikipedia.org/wiki/Minimum_description_length
    Das scheint mit diesen Konzepten zusammenzuhängen; ich werde da weiter nachforschen.
  • Wenn „Intelligenz das Komprimieren von Information in eine irreduzible Repräsentation“ ist, dann dachte ich, das sei Physik ;)
    https://en.wikipedia.org/wiki/Wigner%27s_classification

• Wenn ARC-AGI ein Benchmark ist, der die Fähigkeit testet, aus minimalen Beispielen abstrakte Regeln abzuleiten und zu generalisieren, dann definiert er Intelligenz letztlich als die Fähigkeit, Information in eine Menge von Regeln zu komprimieren.
  Dann ist es zutreffend zu sagen, dass Kompression genau das tut.

  • Das ist nicht so zirkulär oder offensichtlich, wie es die Behauptung klingen lässt.
    Ich frage mich, ob du ARC-AGI-Aufgaben schon einmal selbst gelöst hast.
    Die Aufgaben sind ziemlich subtil und testen eine breite Palette abstrakter Konzepte.
    Zum Vergleich: o1-preview erreichte in der öffentlichen Evaluation 21 %, der Ansatz aus dem Originalbeitrag 34 %.

• Eine einigermaßen verwandte Arbeit von Schmidhuber: https://arxiv.org/abs/0812.4360

• Wenn dort steht „jedes Puzzle etwa 20 Minuten auf einer RTX 4070 verarbeiten“, bedeutet das wohl, dass eine Challenge mit 100 Aufgaben 33,3 Stunden dauern würde.
  Das liegt über dem Challenge-Ziel von 12 Stunden, aber der Ansatz selbst ist ziemlich cool.

• Abgesehen davon, dass die Struktur sehr sorgfältig entworfen wurde, wirkt das fast wie ein standardmäßiger Bayesian-Deep-Learning-Ansatz.