ARC Prize: Wettbewerb um 1,5 Mrd. Won+ für offene AGI
(arcprize.org)- Der ARC Prize ist ein Wettbewerb im Umfang von mehr als etwa 1 Million US-Dollar ($1m), der sich an Teilnehmende richtet, die die ARC-AGI-Evaluierung schlagen und ihre Lösung als Open Source veröffentlichen
- Die Grundannahme ist, dass moderne LLMs eher Auswendiglernmaschinen sind, die hochdimensionale Muster aus Trainingsdaten auf benachbarte Kontexte anwenden, und keine neue Schlussfolgerung für neue Situationen erzeugen können
- Der SOTA-Wert von ARC-AGI liegt seit 20 % im Jahr 2019 derzeit nur bei 34 % und zeigt damit, dass Aufgaben, die Menschen und Kinder schnell lernen, für moderne AI weiterhin schwierig sind
- Dahinter steht auch die Kritik, dass sich die Frontier-AGI-Forschung zunehmend abschottet, da die technischen Berichte zu GPT-4 und Gemini zentrale Details nicht offenlegen, und dass die auf LLMs konzentrierten Investitionen das Interesse an neuer Architektur- und Algorithmusforschung verringert haben
- Der ARC Prize ist ein Versuch, mehr Forschende dazu zu bringen, Fortschritte bei AGI offen zu messen und im Prozess der Lösung von ARC-AGI neu zu lernen, wie allgemeine Intelligenz funktioniert
Bedingungen des ARC Prize
- Der ARC Prize ist ein Wettbewerb im Umfang von mehr als 1 Million US-Dollar zur Förderung von offener AGI-Entwicklung
- Die Kernbedingung ist, die ARC-AGI-Evaluierung zu übertreffen und die Lösung als Open Source zu veröffentlichen
- Die Veranstalter sind Mike Knoop und François Chollet, gemeinsam mit Infinite Monkey und Lab42
Die Grenze zwischen Auswendiglernen und allgemeiner Intelligenz
- Moderne AI, insbesondere LLMs, sind stark darin, hochdimensionale Muster in Trainingsdaten auswendig zu lernen und sie auf nahe Kontexte anzuwenden
- Auch scheinbare Fähigkeiten zum Schlussfolgern beruhen demnach darauf, Schlussfolgerungsmuster auswendig zu lernen und auf ähnliche Kontexte anzuwenden; neue Schlussfolgerungen für neue Situationen entstehen dabei nicht
- Bei memorisierungsbasierten Benchmarks wie MMLU, GSM8K, ImageNet und GLUE lässt sich Leistung mit mehr Trainingsdaten faktisch „kaufen“
- Allgemeine Intelligenz ist die Fähigkeit, neue Fertigkeiten effizient zu erwerben, und allein durch Auswendiglernen ist sie kaum erreichbar
- Es wird davon ausgegangen, dass LLMs nicht allein durch Skalierung neue Fertigkeiten lernen können und dass neue Architekturen oder Algorithmen nötig sind, die zum Testzeitpunkt lernen können
Die durch Spiel-AI sichtbar gewordenen Grenzen der Generalisierung
- AI-Systeme, die Menschen in Poker, Schach, Go und ähnlichen Spielen schlagen, gibt es schon seit Langem
- Systeme, die für den Erfolg in einem Spiel trainiert wurden, konnten nicht einfach für ein anderes Spiel nachtrainiert werden; Forschende mussten für jedes Spiel neue Systeme entwerfen und aufbauen
- Diese Situation wird als Scheitern der Generalisierung interpretiert
- Ohne diese Fähigkeit bleibt AI weiterhin durch die allgemeine Intelligenz des Menschen im Loop begrenzt
Welche Fähigkeit ARC-AGI messen will
- ARC-AGI ist eine Evaluierung, die in François Chollets Paper On the Measure of Intelligence vorgestellt wurde
- Diese Evaluierung soll die allgemeine Intelligenz eines Systems messen, neue Fertigkeiten effizient zu erwerben und neuartige, offene Probleme zu lösen
- 2019 lag der höchste SOTA-Wert von ARC-AGI bei 20 %, heute liegt er bei 34 %
- Menschen und Kinder können die Aufgaben schnell erlernen, für moderne AI bleibt ARC-AGI jedoch weiterhin sehr schwierig
- Viele AI-Benchmarks testen Memorierungsfähigkeit und sättigen sich deshalb schnell bei Leistung auf menschlichem Niveau
- ARC-AGI wurde so entworfen, dass es gegen Auswendiglernen resistent ist, und bleibt sowohl für die größten Foundation-Transformer-Modelle als auch für spezialisierte AI-Systeme für ARC-AGI eine schwierige Evaluierung
- Eine Lösung für ARC-AGI könnte ein neues Programmierparadigma eröffnen, in dem Programme aus beliebigen Mengen von Vorwissen perfekt und stabil generalisieren
Sich abschottende Frontier-AI-Forschung
- Seit der Veröffentlichung von GPT-4 haben sich Frontier-AGI-Fortschritte nach dieser Sichtweise in Richtung Closed Source bewegt
- Der GPT-4 technical report enthielt keine technischen Details, und OpenAI nannte als ersten Grund dafür den „Wettbewerb“
- Auch Googles Gemini technical report enthielt keine technischen Details zu Frontier-Innovationen rund um lange Kontextfenster
- LLMs haben einen großen Teil der Forschungsaufmerksamkeit für neue Architekturen und neue Algorithmen auf sich gezogen
- 2023 flossen mehr als 20 Milliarden US-Dollar in nicht-allgemeine AI-Unternehmen, und viele Frontier-Forschende von DeepMind wurden zu Gemini umverteilt, um mit OpenAI zu konkurrieren
Welche Rolle offene Forschung in der Geschichte des Transformer spielte
- Die Transformer-Architektur entstand, nachdem sich im Forschungsfeld der maschinellen Übersetzung über mehrere Arbeiten hinweg Erkenntnisse aufgebaut hatten
- 2014 veröffentlichten Sutskever und andere bei Google Seq2Seq Learning unter Verwendung von RNNs und CNNs
- 2016 popularisierten Bahdanau und andere das Aufmerksamkeitskonzept, damit Vorhersagen für Ausgaben unter Berücksichtigung verschiedener Teile der Eingabe möglich werden
- 2017 entfernten Vaswani und andere in Attention Is All You Need RNNs und CNNs und optimierten die Architektur, wodurch eine neue Form der Skalierung möglich wurde
- 2018 bauten Radford und andere auf der Transformer-Architektur mit GPT-2 ein Frontier-Modell in neuem Maßstab und zeigten emergente Fähigkeiten
- Dieser Verlauf zeigt den Prozess der Wissenschaft, bei dem Forschende aus unterschiedlichen Labs und Teams ihre Ergebnisse veröffentlichen und andere Forschende darauf weiter aufbauen
Ziele und Wege zur Teilnahme
- Der ARC Prize verfolgt drei Ziele
- die Zahl der Menschen zu erhöhen, die an Frontier-AGI-Forschung teilnehmen
- objektive Maßstäbe zur Messung von AGI-Fortschritten zu popularisieren
- ARC-AGI zu lösen und dabei Neues über das Wesen der Intelligenz zu lernen
- Details zu Wettbewerbsformat und Preisgeldern finden sich bei ARC Prize 2024
- Wie man mit der Lösung von ARC-AGI beginnt, steht im guide
- Wie ARC-AGI allgemeine Intelligenz misst, lässt sich auf der Seite ARC-AGI nachlesen
- Fortschritte und SOTA-Lösungen werden über X/Twitter, YouTube, Email und Discord aktualisiert
1 Kommentare
Meinungen auf Hacker News
Ich bin Simon Strandgaard und habe beim ARCathon 2022 3 Aufgaben und beim ARCathon 2023 8 Aufgaben gelöst.
Ich sammle Daten darüber, wie Menschen ARC-Aufgaben lösen, und habe bisher 4100 Interaktionsverläufe gesammelt (https://github.com/neoneye/ARC-Interactive-History-Dataset)
Neben ARC-AGI gibt es auch ARC-ähnliche Datensätze, die man in meinem Editor ausprobieren kann (https://neoneye.github.io/arc/)
Wenn man die Interaktionsverläufe abspielt, sieht man, dass jeder Mensch anders vorgeht. Die Wiedergabe läuft mit 100 ms pro Interaktion; echte Menschen lösen die Aufgaben nicht so schnell.
https://www.youtube.com/watch?v=vQt7UZsYooQ
So sieht es aus, wenn ich ARC-Aufgaben manuell löse; man sieht auch, dass es ziemlich langsam ist.
https://www.youtube.com/watch?v=PRdFLRpC6dk
Das Merkwürdige ist, dass die Implementierung eines Solvers für eine bestimmte ARC-Aufgabe sich ziemlich stark davon unterscheidet, das Puzzle von Hand zu lösen. Man muss alle möglichen Sonderfälle behandeln.
Großen Dank an das ARC-Prize-Team.
Das ist wirklich großartig. Ich teile François’ Intuition, dass das heutige datenhungrige Trainingsparadigma weder gut generalisiert noch nachhaltig ist.
Menschen brauchen keine 10.000 Beispiele, um Katzen von Hunden zu unterscheiden, und der Hauptgrund, warum Computer das heute können, ist, dass es Millionen von Beispielen gibt.
Deshalb könnte es schwierig sein, Wissen auf schwierigere Bereiche zu übertragen, in denen Daten teuer, selten und schwer synthetisch zu erzeugen sind.
Ein Kritikpunkt wäre, dass die meisten dieser Tests aus spieltheoretischer Sicht über vollständige Information zu schlussfolgern scheinen. Viele der schwierigeren Probleme, denen wir begegnen, enthalten jedoch verborgene Informationen.
Poker und Verhandlungen sind Beispiele für Problemlösen unter unvollständiger Information, und auch das reibungslose Navigieren sozialer Situationen erfordert verwandte Fähigkeiten im Umgang mit verborgenen Informationen.
Eine der wirklich interessanten Fähigkeiten des Menschen ist es, Spielregeln zu bekommen und daraus Strategien zu entwickeln. Es gibt Algorithmen, die Go oder Schach per Selbstlernen lernen, aber derselbe Self-Play-Algorithmus funktioniert nicht für Spiele mit verborgenen Informationen.
Ein allgemein intelligentes System müsste auch die Fähigkeit haben, für solche Situationen einen generischen Problemlöser zu synthetisieren.
Vielleicht waren es keine 10.000, aber es waren wohl Hunderte, vielleicht Tausende.
Kinder bitten um Bestätigung, ob ihre Vermutung richtig ist. Selbst wenn man ein Buch zum 50. Mal liest, zeigen sie auf einen Hund im Bild und fragen „Hund?“, und diese Entwicklungsphase dauert ziemlich lange.
Wenn das erwartete Label nicht zum Objekt passt, werden sie auch wütend. Mein Sohn zum Beispiel wird richtig sauer, wenn jemand eine Farbe falsch benennt.
Kleinkinder mögen auch Spiele, bei denen man absichtlich falsche Namen verwendet. Wenn man auf einen Fisch zeigt und sagt: „Was für ein schöner Lama!“, finden sie das so komisch, dass sie sich vor Lachen wegwerfen.
Die Entwicklung des menschlichen Gehirns ist sehr langsam[1], und ein lineares Zeitgefühl existiert auch lange Zeit nicht. Selbst mit drei Jahren ist alles entweder gestern, heute oder morgen.
Kinder sammeln Informationen über mehrere Sinne, erfassen 12–14 Stunden am Tag Daten in absurdem Tempo und ruhen sich dann 10–12 Stunden aus, um diese Informationen zu verarbeiten.
[1] Man muss nur beobachten, wie ein Baby entdeckt, dass es einen rechten Fuß hat, und ein paar Tage später herausfindet, dass es auch einen linken Fuß hat. Oder wie ein Kind, das das Stehen lernt, sich ein paar Mal den Kopf unter einem Tisch stößt und dann ein Gefühl für „über mir“ entwickelt. Wenn Kinder „schnell“ lernen, bedeutet das eher, dass sie jahrelang sonst nichts zu tun haben.
Anders gesagt: LLMs werden mit sehr schwachem Vorwissen fast von Grund auf vortrainiert, während das menschliche Gehirn mit extrem starkem Vorwissen vorinstalliert ist.
Wenn man zum Beispiel nur die Erklärung bekommt: „Hunde jagen, indem sie Tiere aufspüren und lange verfolgen, bis sie erschöpft sind; Katzen dagegen lauern auf Gelegenheiten und greifen mit Heimlichkeit und Wendigkeit an“, dann wird jemand, der weder Hunde noch Katzen je gesehen hat, beim Anblick der beiden Tiere wahrscheinlich anhand ihrer Anpassungsformen richtig zuordnen können, welches welches ist.
Das könnte ein interessanter Test für AI sein, aber ich bin mir nicht sicher, wie man ihn als Evaluation aufbauen würde.
Die Idee hinter ARC ist wirklich gut, aber die Aufgaben scheinen viel stärker Wissen über die räumliche Welt zu verlangen als abstraktes Schließen.
Es geht um Formen, die sich überlappen, ineinander enthalten sind, in Stücke zerschnitten und wieder zusammengesetzt werden, sowie darum, Rauschen aus regelmäßigen geometrischen Formen zu entfernen.
Man kann das „Kernwissen“ nennen, aber für mich wirkt es eher wie „Dinge, die für die menschliche visuelle Verarbeitung intuitiv sind“.
Könnte eine intelligente, aber blinde Person diese Aufgaben lösen?
Wenn wir befürchten, dass wir vielleicht mehr als 800 Beispiele brauchen, dann nicht, weil abstraktes Schließen so schwierig ist, sondern weil die Aufgaben räumliches Wissen verlangen, das ein intelligenter Mensch anhand von weit mehr als 800 Trainingsbeispielen lernt.
Wenn dieser Test eine Domäne repräsentiert, in der Menschen deutlich besser sind als KI, ist er ein nützlicher Test. Da KI in mehreren Bereichen offenkundig weniger kompetent ist als Menschen und dennoch alle bisherigen Tests gut besteht, brauchen wir mehr solcher Tests.
Pretraining auf unbegrenzten Daten sollte erlaubt sein. Von leicht verfügbaren Daten auf Testaufgaben zu generalisieren, ist genau das, was Menschen tun.
Ich bin überzeugt, dass auch blinde Menschen sie lösen könnten, wenn man Farben in taktile Sinneseindrücke übersetzt. Blinde Menschen verstehen räumliche Beziehungen ebenfalls.
Wenn man AGI mindestens als menschliches Niveau definiert, sollte auch eine AGI so etwas lösen können, ohne weitere Beispiele zu sehen.
Es scheint keine Regeln dazu zu geben, welches Wissen oder welche Erfahrung man in die Lösung einbauen darf.
Das Ziel des Projekts gefällt mir. Es wäre gut, frühere Reasoning Engines anzuschauen, die versucht haben, Common Sense aufzubauen. Cyc und OpenMind sind Beispiele.
Auch die Liste der AGI-Ziele in Abschnitt 2 dieses Papers könnte hilfreich sein.
https://arxiv.org/pdf/2308.04445
Als ich eine Einführung in die Gehirnfunktionen studierte, zeigte sich auch, dass viele Bereiche mit dem Hippocampus verbunden sind. Der Hippocampus könnte sowohl sensorisch neutrale Konzepte speichern als auch ein internes Modell oder Näherungsmodell der Außenwelt erzeugen.
Ersteres hilft dabei, Konzepte über mehrere Sinne hinweg zu verknüpfen, Letzteres hilft beim Planen, wenn man Möglichkeiten gedanklich durchspielt, bewertet und iteriert.
Eine AGI sollte meiner Meinung nach solche hippocampusähnlichen Eigenschaften sowie die Eigenschaften aus den Cyc-Papers besitzen. Man könnte testen, welche Strukturen so etwas theoretisch oder im kleinen Maßstab leisten können.
Sie darf auch nicht nur an eine einzige Art sensorischer Eingabe gebunden sein. Es sollten mindestens zwei Arten vorhanden sein, und sie sollte auf Grundlage dessen handeln können, was nur auf einer Seite oder auf beiden Seiten vorhanden ist.
Auch Kinder betreiben enorme Mengen unüberwachtes Lernen mit visuellen und räumlichen Daten. Durch Spielen erhalten sie Reinforcement Learning und von ihren Eltern auch Supervised Learning. Für einen realistischen Benchmark könnten entsprechend Gigabytes an Pretraining nötig sein.
Nehmen wir zum Beispiel Formen, die einander enthalten. Wenn zwei Länder dasselbe Territorium beanspruchen, haben wir eine Menge X, die Y enthält, und eine Menge Z, die Y enthält.
Wenn die gemeinsame Überlappung dreidimensional ist und eines über dem anderen liegt, kann man das so erweitern, dass X -Y enthält und Z Y enthält. So wie man je nach Standort nur das eine obenliegende sehen kann und nicht beide, könnte man sagen, dass X und Z nicht gleichzeitig existieren können. Also gilt: Wenn X, dann -Y; wenn Z, dann Y.
Wenn man genau auf die Sprache achtet, die wir verwenden, erkennt man, wie häufig wir räumliche Beziehungen nutzen, um sogar völlig Abstraktes zu erklären. Man kann zum Beispiel von einer zusammenbrechenden Hegemonialwirtschaft sprechen; das ist eine Ausdrucksweise, bei der Dinge, die übereinander gestapelt sind, verschwinden und an den Ort zurückkehren, von dem sie ursprünglich kamen.
Letztlich schließen wir über Dinge, die in Zeit und Raum geschehen.
Und Raum ist nicht dasselbe wie Sehen. Auch mit Blindheit muss man räumlich schließen, denn jede Menge von Fakten ist eine Menge von Fakten in Raum und Zeit.
Um Geschichte zu verstehen, muss man Menschen im Raum verstehen, Menschen, die in unterschiedlichen Entfernungen voneinander leben, sowie die Produktion von Gütern durch physische Prozesse an verschiedenen Orten der Erde und ihren physischen Austausch.
Um eine Schlacht zu verstehen, muss man verstehen, wie Armeen physisch angeordnet sind, wie Nachschubbewegungen funktionieren, welche Wetterbedingungen herrschen und was Waffen und ihre physische Form tatsächlich ermöglichen.
Und was tut sogar ein LLM, der größte Fortschritt in der künstlichen Intelligenz? Es kodiert Tokens in einen mehrdimensionalen Raum.
Räumliche Beziehungen sind nur eine weitere Art logischer Beziehung, und eine AGI sollte in der Lage sein, Beziehungen zu analysieren und spontan Algorithmen zur Lösung eines Problems zu erzeugen.
Dass Menschen verschiedene Biases haben können, bedeutet nicht, dass diese Biases jeder Intelligenz innewohnen.
Ich war skeptisch gegenüber der Behauptung, dieser Test sei für Menschen einfach, und habe deshalb etwas recherchiert. Melanie Mitchell hat sich in Chollets Thread eingeschaltet und den verwandten Test ConceptARC verlinkt.
Dort wird infrage gestellt, ob Chollets Test wirklich leicht ist. „Eine Einschränkung von ARC für die KI-Forschung ist, dass es zu schwierig sein könnte. Viele Aufgaben in Chollets Korpus sind selbst für Menschen schwierig, und der gesamte Korpus könnte für Maschinen zu schwer sein, um echte Fortschritte beim Erwerb von Kernwissen sichtbar zu machen.“
ConceptARC wurde so konzipiert, dass es einfacher ist, musste aber unter den eigenen Teilnehmenden etwa 15 % herausfiltern, weil sie „mindestens zwei Aufgaben nicht lösen konnten oder leere bzw. unsinnige Erklärungen abgaben“.
Selbst nach dieser Filterung stellte ConceptARC bei den Hauptaufgaben noch eine menschliche Fehlerrate von weiteren etwa 10–15 % fest; damit konnten also selbst bei den einfacheren Aufgaben, die als Test für „AGI“ gedacht waren, 25–30 % sie nicht lösen.
In den Hauptergebnissen von ConceptARC lag CG4 deutlich unter den gefilterten Menschen, was auch zu den Testergebnissen von IQ=85 bei [Mensa]https://www.maximumtruth.org/p/ais-ranked-by-iq-ai-passes-10... passt.
Chollet und Mitchell könnten die Menschengruppe nach Schichten aufteilen, den IQ schätzen und ihn mit den Mensa-Messungen vergleichen, um etwa zu sehen, wie Claude3@IQ=100 mit dem ARC-Score eines durchschnittlichen Menschen korrespondiert.
[ConceptArc]https://arxiv.org/pdf/2305.07141
„Menschen konnten das zugrunde liegende Programm erschließen und die korrekten Testausgaben für neue Testeingabebeispiele erzeugen; im Durchschnitt lösten sie 84 % der Aufgaben pro Teilnehmer.“
Entweder bin ich viel dümmer, als ich dachte, oder die Testvalidierung sollte besser sein.
Wenn man diese Aussage so akzeptiert, dann ist klar, dass dieser Test irgendeinen wichtigen Unterschied misst, falls keines der bisherigen Modelle auch nur die Hälfte des durchschnittlichen menschlichen Scores erreicht.
Man kann darüber streiten, ob ARC-Aufgaben eine repräsentative Stichprobe aller komponierbaren abstrakten Programme sind, aber die meisten LLMs werden letztlich ebenfalls mit menschlichen Daten trainiert.
Ich stimme der Intention des Wettbewerbs zu, aber wenn man bedenkt, dass bereits Hunderte Milliarden Dollar in den AGI-Wettlauf investiert wurden und künftig noch viel mehr Geld fließen wird, wirkt ein Preisgeld von 1 Million Dollar etwas niedrig.
Die Auswirkungen von AGI werden mindestens in Billionen gemessen werden. Am Ende könnte damit nicht AGI-Forschung belohnt werden, sondern die Arbeit, das neueste öffentlich verfügbare LLM-Release möglichst gut auf die Testparameter feinzujustieren.
Es wäre auch besser, die Plattform für die Kommunikation mit der Öffentlichkeit zu wechseln. Auf x.com-Links kann man inzwischen nicht mehr zugreifen, ohne ein Konto anzulegen.
Das Hauptziel dieses Preises ist, das öffentliche Bewusstsein dafür zu schärfen, wie nah wir an AGI sind – oder wie weit wir derzeit noch davon entfernt sind: https://arcprize.org/leaderboard
Ich hoffe, dass dieses Verständnis mehr angehende KI-Forschende dazu bewegt, an neuen Ideen zu forschen.
Ich mag ARC als Menge zu lösender Probleme sehr. Dass die Daten spärlich sind und die anwendbaren Regeln praktisch unbegrenzt, macht es deutlich schwieriger als klassische Machine-Learning-Problemsets.
Ich stimme allerdings nicht zu, dass diese Aufgaben AGI repräsentieren. Es ist einfach ein anderer Datensatz als die bisherigen Erfolgsgeschichten im Machine Learning, und die Ansätze sind im Großen und Ganzen ähnlich wie zuvor.
Ein wirklich neuer Durchbruch namens AGI könnte dieses Problemset vielleicht lösen, aber ich sehe das Lösen dieses Problemsets nicht als verlässlichen Indikator für AGI.
Es ist wirklich interessant und gefällt mir, aber nach meinem Eindruck von etwa einem Dutzend Beispielen sind diese Aufgaben zwar schwierig, aber doch so leicht, dass bei genügend Popularität innerhalb eines Jahres oder schneller Ergebnisse nahe am menschlichen Niveau auftauchen dürften – ohne dass damit AGI erreicht wäre.
Der Kern scheint darin zu liegen, eine hinreichend allgemeine Transformationssprache mit geeigneten Operatoren zu finden. Außerdem braucht man eine Heuristik, die in dieser Sprache ein sehr kurzes Programm findet, das im informationstheoretischen Sinn alle Beispiele einer Aufgabe erzeugt.
Ich wäre sehr überrascht, wenn die 34-%-Ergebnisse nicht bald deutlich gesteigert würden, und ebenso überrascht, wenn sich das auf allgemeine Intelligenz übertragen würde – besonders wenn ich an die Themen denke, für die ich heute KI nutze, und an die Stellen, an denen sie noch unzureichend ist.
Im Grunde habe ich die Intuition, dass dies in der KI ein weiteres Problem wie Schach oder Go werden wird. Als Forschungsthema ist es trotzdem eindeutig wertvoll, und der mögliche Wert, der daraus entsteht, kann die 1 Million Dollar locker übersteigen.
Ich sehe überhaupt keinen Beleg dafür, dass gute Leistungen bei diesen Aufgaben echte AGI bedeuten. Das ist etwas anderes als etwa neue mathematische Beweise zu schreiben, einsichtsvolle Fragen zu stellen, auf die noch niemand gekommen ist, das eigene Lernen selbst zu steuern oder den eigenen Quellcode zu lesen.
Die Formulierung „die einzige Bewertung, die AGI misst“ ist übertrieben. Das sind lediglich Aufgaben, die LLMs nicht können, nicht unbedingt ein guter Maßstab für künstliche allgemeine Intelligenz.
Nachdem ich ein paar Aufgaben gelöst hatte, fragte ich mich, wie viele verschiedene Transformationsregeln es im Aufgabengenerator gibt. Es sieht nicht nach vielen aus.
Daher lässt sich das Problem aufteilen in: eine Menge von Transformationsregeln aus den Daten extrahieren und sie dann auf neue Aufgaben anwenden.
Der erste Teil ist schwierig und ein Problem der Feature-Extraktion. Da die Transformationen offenbar streng angewendet werden, sollte die Anwendung selbst einfach sein, sobald man die Transformationsregeln hat und die Regel auswählt, die zu allen Eingabebeispielen passt.
Es scheint eher explizite Feature-Extraktion nötig zu sein als die Kombination aus Feature-Extraktion und Nutzung, die LLMs verwenden. Hat schon jemand versucht, aus den Testfällen eine Regelmenge zu extrahieren?
Einige der Top-Lösungen des ursprünglichen Kaggle-Wettbewerbs verwendeten eine domänenspezifische Sprache, die aus solchen Transformationen bestand. Das war vor vier Jahren. [1]
Das Problem an diesem Weg ist, dass die Aufgaben keinen Programmgenerator verwenden. Die Regelmenge kann alles sein, was sich ein Mensch ausdenken kann. Sie kann so einfach sein wie „das größte Objekt wird blau“, aber auch viel komplexer.
Außerdem ist das Testset nicht öffentlich, sodass man darauf nicht trainieren oder daraus extrahieren kann. Es enthält auch Regeln, die im öffentlichen Set nicht vorkommen.
[1] https://www.kaggle.com/competitions/abstraction-and-reasonin...
François Chollets ursprüngliches Paper ist unglaublich aufschlussreich, und ich bin immer wieder überrascht, dass nicht mehr Menschen darüber sprechen.
Teile davon sind ziemlich technisch, aber auf hoher Ebene ist es die beste Antwort, die ich je auf die Frage gesehen habe: „Was bedeutet allgemeine Intelligenz?“
Wenn man explizites und implizites Vorwissen über die Welt berücksichtigt und Intelligenz dann als Lerneffizienz definiert, wird viel verständlicher, warum menschliche Intelligenz so beeindruckend ist.
Dwarkesh hat gerade ein Interview mit François Chollet veröffentlicht. Er ist der Partner des Autors des ursprünglichen Beitrags.
Ich habe erst ein paar Minuten gehört, bin aber sehr daran interessiert, mehr über seine Gedanken zu den Grenzen von LLMs zu hören.
https://youtu.be/UakqL6Pj9xo