- Project Sid ist ein Repository mit technischem Bericht, das zeigt, wie sich 10 bis über 1000 KI-Agenten innerhalb einer Agentengesellschaft verhalten und weiterentwickeln
- Bisherige Bewertungen von KI-Agenten blieben meist auf einzelne Agenten oder kleine Gruppen beschränkt, wodurch Umfang und Komplexität der Interaktionen begrenzt waren
- PIANO ist eine Architektur für Parallel Information Aggregation via Neural Orchestration, die es Agenten ermöglicht, in Echtzeit mit Menschen und anderen Agenten zu interagieren und dabei die Konsistenz über mehrere Output-Streams hinweg zu wahren
- In einer Minecraft-Umgebung wird die Leistung der Agenten in groß angelegten Simulationen anhand eines von der Menschheitsgeschichte inspirierten Zivilisations-Benchmarks bewertet
- In ersten Ergebnissen erreichen die Agenten wichtige Meilensteine auf dem Weg zu einer KI-Zivilisation, etwa indem sie autonom spezialisierte Rollen schaffen, kollektive Regeln befolgen oder ändern und an der Verbreitung von Kultur und Religion teilnehmen
Welche Fragestellung Project Sid behandelt
- KI-Agenten wurden bisher vor allem isoliert oder in kleinen Gruppen bewertet
- In solchen Settings sind Umfang und Komplexität der Interaktionen zwischen Agenten begrenzt
- Ausgangspunkt ist die Problemstellung, dass groß angelegte Simulationen autonomer Agenten, die das gesamte Spektrum zivilisatorischer Prozesse abbilden, bislang noch nicht untersucht wurden
PIANO-Architektur
- Project Sid schlägt die PIANO-Architektur vor
- Der vollständige Name lautet Parallel Information Aggregation via Neural Orchestration
- Sie ermöglicht Agenten die Echtzeitinteraktion mit Menschen und anderen Agenten
- Ziel ist es, Konsistenz über mehrere Output-Streams hinweg aufrechtzuerhalten
Simulation und Bewertungsmethode
- Die Bewertung erfolgt in einer Minecraft-Umgebung
- Um die Agentenleistung in groß angelegten Simulationen zu bewerten, wird ein von der Menschheitsgeschichte inspirierter Zivilisations-Benchmark verwendet
- Der experimentelle Umfang umfasst 10 bis über 1000 KI-Agenten
Beobachtetes Agentenverhalten
- Die Simulation zeigt, dass Agenten sinnvolle Fortschritte erzielen können
- Zu den beobachteten Verhaltensweisen gehören:
- Sie entwickeln autonom spezialisierte Rollen
- Sie befolgen kollektive Regeln und ändern sie bei Bedarf
- Sie beteiligen sich an kultureller und religiöser Verbreitung
Materialien und Zitierinformationen
- Das Paper ist an zwei Stellen verfügbar
- arXiv:2411.00114
- PDF-Datei
2024-10-31.pdfim Repository
- Die Zitierinformationen werden als
Altera.AL, 2024,arXiv preprint arXiv:2411.00114angegeben - Die ersten Ergebnisse von Project Sid werden als neue Forschungsrichtung für groß angelegte Gesellschaftssimulationen, organisatorische Intelligenz von Agenten und die Integration von KI in die menschliche Zivilisation zusammengefasst
1 Kommentare
Meinungen auf Hacker News
Es scheint gewisse informationstheoretische Einschränkungen zu geben, wenn man aus mehreren Instanzen desselben LLM Verhalten höherer Ordnung herausholen will.
Ich habe im vergangenen Jahr ziemlich lange an Multi-Agenten-Simulationen gebaut und bin jeden Tag zum gleichen Schluss gekommen. Am Ende ist das eher eine indirekte Form von Prompt Engineering; als mentales Modell kann es nützlich sein, aber man kann das Ganze auf ein paar SQL-Tabellen und Funktionen verflachen. Jeder „Agent“ ist im Kern eher eine SQL-View, die auf ein String-Template zum Erzeugen von Prompts abgebildet wird.
Ich sehe nicht, dass man dafür eine echte 3D-Welt oder eine Wanduhr braucht. Selbst wenn man unter den Prompt-Erzeugungsprozess eine plausibel wirkende Repräsentation legt, scheint das LLM dadurch nicht sinnvoll reichhaltiger zu werden. In einem LLM gibt es offensichtlich keine „innere Welt“, daher wirkt der Versuch, es mit einer reichhaltigen äußeren Umgebung zu unterhalten, ziemlich sinnlos.
Vielleicht irgendwann, wenn kontrollierbare geriggte und texturierte Meshes gut genug für Spiele werden, aber derzeit können sie nicht zuverlässig genug spontan Geschichten erzeugen, um eine konsistente Spielhandlung zu unterstützen. Auch bei der Kartengenerierung scheint es nicht mehr zu brauchen als bestehende prozedurale Generierungsalgorithmen, und diese Beispiele stützen sich weiterhin auf vorgefertigte Assets. Diese Implementierungen scheinen nicht einmal statische Meshes zuverlässig plausibel auf dem Boden platzieren zu können.
Auch bei NPCs frage ich mich, wie wertvoll das in der Praxis wirklich ist. Vielleicht ist es reine Neuheit und nicht einmal eine Stunde wert. Selbst wenn ein LLM mit spontanen Sätzen einen geführten Handlungsfortschritt erzeugt, bezweifle ich, dass das so gut oder besser ist als Dialogbäume von professionellen Autorinnen und Autoren.
Diese Civ-Idee wirkt bis zu einem gewissen Grad wie ein neuer Ansatz, aber konzeptionell scheint sie nicht viel hinzuzufügen. Trotzdem ist es wertvoll, zu lernen, dass etwas nicht funktioniert. Nur sind solche Ideen meistens buzzwordartige Lösungen auf der Suche nach einem Problem oder eine billigere Quelle für Kreativität als Menschen, allerdings mit großen Qualitätseinbußen und so viel notwendigem Nachjustieren durch Entwickler, dass die tatsächlichen Kosteneinsparungen fraglich sind.
Als Technical Artist habe ich zwar die Voreingenommenheit, menschliche Kreativität höher zu bewerten, gleichzeitig dürfte ich aber genau zur Kernzielgruppe für LLM-Tools in der Spieleentwicklung gehören – und bislang bin ich nicht überzeugt.
Ich unterstütze völlig, dass kommerzielle Interessen Aufmerksamkeit und Beteiligung erzeugen. Es ist eindeutig beeindruckende Arbeit, aber es wäre sinnvoller, die Lage sehr viel ehrlicher darzustellen und Menschen mit der Expertise und dem Bewusstsein anzuziehen, die den Ball wirklich nach vorne bringen können.
Viel interessanter wäre es, die zehntausend Dinge offenzulegen, die in den Experimenten schiefgelaufen sind, und die daraus gewonnenen vernünftigen Schlussfolgerungen zusammenzufassen. Was gebraucht wird, sind Einsichten wie die oben genannten: klug und zutreffend.
Diese Branche und ihre Unterstützer müssen darüber hinwegkommen, mit falschen Methoden gewinnen zu wollen, während sie kreative Menschen verdrängen, die bereit wären, in der KI und der Industrie einen Paradigmenwechsel zu schaffen.
Man könnte natürlich alle Prompts selbst schreiben, aber dann ist diese gemeinsame Realität einfach die Vorstellung des Autors, und der Autor spielt die Rolle des Dungeon Masters.
Der Zweck der Minecraft-Umgebung ist nicht, die „innere Welt“ der Agenten reichhaltiger zu machen oder sie zu „unterhalten“. Es geht darum, in einer geteilten Umgebung Aufgaben zu schaffen, die Menschen verstehen können, um das Gruppenverhalten und die Leistung unterschiedlich zusammengesetzter Agenten zu messen.
Ich weiß, dass man so etwas hier offenbar nicht sagen soll, aber ich frage mich, ob der Beitrag gelesen wurde. Dieser Kommentar geht kaum auf die Erkenntnisse der Forschung oder die verwendeten Techniken ein.
Es müssen nicht alle dasselbe Modell sein, und Kontextmanagement, das die „Gedankenkette“ jedes Agenten eng und fokussiert hält, kann wichtig sein.
Ersteres ist im Grunde das, womit sich Mixture of Experts (MoE) befasst, und bei kleineren Modellen habe ich gesehen, dass sie deutlich besser funktionieren, wenn Umfang und Kontext begrenzt werden. Wenn das Ergebnis Dinge ermöglicht, die ein einzelnes großes Modell nicht schafft, wäre das dann nicht Verhalten höherer Ordnung?
Dass es keine „innere Welt“ gibt, stimmt, aber vielleicht ist genau deshalb ein Vorteil, ihnen eine zu geben. So wie ein LLM mit einem Tool zur Codeausführung besseren Code schreiben kann, weil es ihn selbst ausführen und ausprobieren kann, könnte eine 3D-Welt ein Spielplatz sein, um reale Probleme auf andere Weise zu erkunden. Wenn das gelingt, kann man es als Verhalten höherer Ordnung ansehen.
In LLMs kommt nur sehr wenig Entropie über die Temperatur des Samplers hinein.
Das wirkt wirklich ziemlich nah an einem echten Agenten für künstliche Intelligenz.
Es gibt Gedächtnis, Willen, Autonomie, Strukturen wie einen OODA-Loop und eine persistente Umgebung. Ein sehr gutes Konzept, und ich denke, die daraus gewonnenen Erkenntnisse lassen sich auch auf gewöhnlichere Business-Probleme anwenden.
Ich wünschte nur, Führungskräfte würden verstehen, dass ein paar Prompts, die sich gegenseitig Ergebnisse zuschütten, keine „hochmoderne agentische KI“ sind.
Aber vielleicht hängt ihr Job daran, der Führungsetage etwas zu verkaufen, das wie echte Innovation aussieht.
Viele bestehende Agenten verfügen bereits über Gedächtnis und mehrere der oben genannten Elemente.
Ich habe mir das Paper angesehen und bin überzeugt, dass es auf einer Sammlung falscher Behauptungen konstruiert ist.
Die Behauptungen wirken nicht glaubwürdig und sollten ohne Peer Review nicht für bare Münze genommen werden. Auch die bereitgestellten Diagramme und Grafiken sehen, wenn man ihre Anwendbarkeit auf die Behauptungen prüft, in mehreren Fällen wie ausgefeilte Fälschungen aus.
Keine derzeitige Art von LLM kann die vorgeschlagenen Dinge leisten. Aus Sicht kommerzieller Interessen mögen die Absichten gut sein, aber klar gesagt liest sich dieses Paper so, als hätte eine Gruppe von AI-Agents innerhalb einer Simulation wahlbezogene Aktivitäten koordiniert. Eine solche Behauptung erfordert erhebliche Belege, die aber nicht geliefert wurden.
Die bereitgestellten Prompts stehen in keinerlei Verbindung zu der beschriebenen Art, wie die LLMs eingesetzt wurden.
Das „Wahl“-Experiment war ein vordefiniertes Szenario, und es gab keine „Koordination“ von Wahlaktivitäten. Vorab zugewiesene „Influencer“ nutzten das in PIANO eingebaute Dialogsystem, die Stimmungslage wurde von der Simulation automatisch erfasst, und der „Election Manager“ war ebenfalls ein weiterer vordefinierter Agent.
Insbesondere dieser Teil des Experiments war darauf ausgelegt zu untersuchen, wie sich das Vorhandensein oder Fehlen bestimmter Module des PIANO-Frameworks auf das Verhalten auswirkt.
Die Wirkung der Wahlaktivitäten war wahrscheinlich sehr gering, aber ich halte es nicht für ausgeschlossen, dass Agents einander so prompten, dass sie in den wahlbezogenen latenten Raum des LLM gelangen.
Mit demselben Maß an Strenge und Aufrichtigkeit gesagt: Das wirkt wie neidisches Geschwätz und wie ein offensichtliches Missverständnis großer Teile des Papers.
Wenn ohne Hardcoding ein Agent zum Steuereintreiber wird und ein anderer das Steuersystem herausfordert, wäre das wirklich beeindruckend.
Ich habe viel über dieses Problem nachgedacht. Ich bin weder Philosoph noch AI-Forscher, also ist das eher Spekulation, aber wenn ich es selbst angehen würde, würde ich mit Prinzipien beginnen und das System sich im Laufe der Zeit entwickeln oder Dinge entdecken lassen.
Prinzipien wären Dinge wie Selbsterhaltung, Nahrung, Unterkunft, Fortpflanzung, Kommunikation und Gedächtnis, betrachtet durch die Linse von Risiko-Ertrags-Berechnungen. Auch festzulegen, was „bekannt“ und was „unbekannt“ ist, könnte zentral sein, allerdings nicht in einer binären Weise.
„Gedächtnis“ kann vieles bedeuten, aber wenn man es als Funktion codiert, in der ein Akteur eine Handlung ausführt, dadurch ein Ergebnis erzeugt und das diesem Ergebnis zugewiesene Risiko-Ertrags-Profil mit empirischen Testwerten von sehr negativ bis sehr positiv verglichen wird, scheint das sowohl für Individuen als auch für Gruppen breit und nützlich zu sein.
Daraus ergeben sich dann das Bedürfnis, sich mit anderen zu verbinden, Ressourcenkonflikte, Risikobereitschaft, die Erkundung des Unbekannten, das Teilen von Gelerntem und die Verfeinerung von Risiko-Ertrags-Abwägungen. Als gottähnlicher Dungeon Master könnte man eine Zivilisation auch dazu bringen, vordefinierte Technologien, Erfindungen und Orte zu entdecken. Das ist ein bisschen geschummelt und setzt die Entwicklung auf Schienen, kann sie aber auch nützlicher, interessanter und nachvollziehbarer machen.
Der Rechenaufwand wirkt enorm, aber ein Spiel muss ja nicht zwingend in Echtzeit laufen.
Ich denke, ein großer Teil der menschlichen Existenz lässt sich durch „Leben“, „Freiheit“, „Liebe/Verbindung“ und „Gier“ erklären.
Wenn ich mir das Video im Repository ansehe, gefällt mir nicht, wie „Kultur“, „Memes“ und „Religion“ von Anfang an hineingemischt werden. Ich fände es besser, sie aus dem Bedürfnis nach Kommunikation und dem Teilen von Glaubenssystemen entstehen zu lassen, die aus kollektivem Gedächtnis hervorgehen. Für den Zweck dieser Analyse wirkt das vielleicht wie eine Unterscheidung ohne Unterschied. Außerdem wirkt „Die Steuern sind hoch!“ ohne das darunterliegende „Es gibt nicht genug Ressourcen zum Leben“ zu sehr wie mechanische Menschennachahmung.
https://en.wikipedia.org/wiki/Society_of_Mind
Das Buch erschien erstmals 1986 und war die erste umfassende Darstellung von Minskys Theorie der „Society of Mind“, die er seit den frühen 1970er-Jahren entwickelt hatte. Es besteht aus 270 eigenständigen Essays, verteilt auf 30 Kapitel, und es gab auch eine CD-ROM-Version.
Bei der Beschreibung der Society of Mind stellt Minsky Theorien dazu vor, wie Prozesse wie Sprache, Gedächtnis und Lernen funktionieren, und behandelt auch Konzepte wie Bewusstsein, Selbstgefühl und freien Willen. Deshalb betrachten viele The Society of Mind auch als philosophisches Werk.
Das Buch wurde nicht geschrieben, um eine bestimmte Behauptung aus AI oder Kognitionswissenschaft zu beweisen, und es behandelt auch keine physischen Gehirnstrukturen. Stattdessen ist es eine Sammlung von Ideen dazu, wie Geist und Denken auf konzeptueller Ebene funktionieren.
Es ist auch als Einstieg in AI in diesem Bereich für Nichtfachleute ziemlich gut lesbar.
Einige Bereiche werden stark profitieren, aber bei künstlicher Intelligenz selbst sind wir meiner Ansicht nach noch nicht so weit. Games dürften stark davon profitieren.
Beim Reinforcement Learning würde man bei jedem Sieg die Policy anpassen; ich frage mich, wie das bei generativer AI funktionieren würde.
Memes und Gene sind beide Gedächtnis, nur auf unterschiedlichen Zeitskalen.
Sieht wirklich nach einem großartigen Spielzeug aus.
Aus Sicht der wissenschaftlichen Forschung wirkt es allerdings nicht besonders nützlich. Es scheint nicht viel Überlegung in das Versuchsdesign geflossen zu sein, und ein klares Ziel ist auch nicht erkennbar. Ich frage mich, ob die Standards akademischer Forschung heutzutage wirklich so niedrig sind.
Sie nennen es selbst einen technischen Bericht, und in diesem Format ist es im Allgemeinen eher akzeptiert, ohne klare Forschungsfrage „wir haben so etwas gemacht“ samt detailliertem Bericht zu liefern. Trotzdem wirkt dieser Bericht ziemlich zerfahren.
Die Abschnitte zu Spezialisierung und kultureller Verbreitung fand ich beide interessant, aber wegen der fehlenden genauen Details zum Versuchsdesign hätte ich es besser gefunden, wenn sie sich auf eines von beiden konzentriert hätten.
Schade fand ich auch, dass bei den Multi-Agenten-Beispielen keine externen Metriken im Fokus standen. Der Single-Agent-Benchmark betrachtet eine externe Metrik, nämlich „Zeit bis zu Blocktypen“, während die Multi-Agenten-Analyse offenbar bei internen Messgrößen wie Rollenspezialisierung und Meme-Verbreitung bleibt. Es war nicht zu sehen, ob ein kollektives Multi-Agenten-System bei Kennzahlen wie wirtschaftlicher Produktivität oder Komplexität mehr erreicht als ein einzelner Agent.
Das hängt offensichtlich mit dem Abschnitt zur Spezialisierung zusammen, aber wenn nicht berücksichtigt wird, ob diese emergente Arbeitsteilung wirtschaftliche Folgen oder Voraussetzungen hatte, fragt man sich, inwieweit das Ganze Pantomime ist.
Manche Menschen bevorzugen Geschwindigkeit und die damit einhergehende Unsicherheit.
Ich frage mich, ob eine KI-„Zivilisation“ wie die von Altera vorgeschlagene ein besseres Paradigma für AGI sein könnte als ein einzelnes LLM, sofern sich nur ein praktikables Belohnungssystem für die gesamte Zivilisation schaffen ließe.
Wenn diese KI-Zivilisation etwa, so wie moderne Staaten versuchen, das BIP zu maximieren, [scientific_output] oder [code_quality] oder eine andere Bewertungsmetrik maximieren wollte: Könnte sie dann bessere Ergebnisse liefern als ein einzelner KI-Agent, der auf dasselbe Ziel hinarbeitet?
Sehr empfehlenswert für alle, die sich für Geist und KI interessieren. Das Buch behandelt verschiedene Aspekte seiner Argumentation in einseitigen Essays, ein interessantes Format, fast im Stil von Martin Luther.
Natürlich ist diese Sicht im Zuge des Andrangs auf den glänzenden reinen LLM-Ansatz etwas in den Hintergrund geraten, aber ich sehe das eher als Folge einer massiv gewachsenen Nutzerbasis, nicht als Verschwinden des Wissens. Fachleute behalten diese Perspektive weiterhin im Hinterkopf und behandeln sie bisweilen unter dem Begriff „Ensemble“.
Ein gutes Beispiel ist GPT-4: Soweit ich es verstehe, kam der große Leistungssprung vor allem durch den Einsatz einer Mixture of Experts, was für mich fast ein Synonym für eine Gesellschaft von Agenten oder ein Modell-Ensemble ist.
Sieht sehr cool aus. Beim Nutzen für eine „Zivilisation“ bin ich skeptisch, aber zumindest ließe sich daraus wohl ein interessantes Simulationsspiel machen.
Deshalb vielleicht besser für Civilization als für civilization.
Civ hat zu viele dumme Fallen, als dass sich eine großartige strategische KI wirtschaftlich sinnvoll hart codieren ließe, und die Lösung, Gegner einfach cheaten zu lassen, ist nur nervig. Interessant wäre ein Ansatz, bei dem ein künstliches neuronales Netz so lange gegen „klassische“ KI antritt, bis es die einzelnen Schwierigkeitsgrade zuverlässig schlägt, und daraus Schichten bildet. Irgendwer hat das vermutlich schon ausprobiert, aber ich konnte nichts dazu finden.
Allerdings bin ich skeptisch, wie hoch die Rechenkosten bei der Inferenz selbst für ein sehr schlechtes neuronales Netz für Civ wären. Ich weiß nicht, wie das in der Praxis skaliert, aber auch wenn es nicht Großmeister-Niveau haben muss, hat die Verteilung dummer Fehler einen langen Schwanz.
DeepMinds Starcraft-2-KI unterscheidet sich von AlphaZero, weil Starcraft kein Spiel mit vollständiger Information ist. Diese KI braucht eine Datenbank menschlicher Spieldaten, um am Anfang nicht ständig zerlegt zu werden. Bei einem neuen Spiel ist es schwierig, solche Trainingsdaten zu bekommen. Civ hat außerdem stärker als andere 4X-Strategiespiele auf künstlerische Gestaltung gesetzt, und wenn man die KI bei jedem neuen Weltwunder neu trainieren müsste, könnte das eine zu große Belastung sein.
Ich bin skeptisch, ob dieses Projekt tatsächlich so funktioniert, wie es präsentiert wird, aber die Idee, auf der Minecraft-Engine ein Civilization-Spiel zu bauen, ist sehr interessant.
Hearthstone kommt mir da besonders in den Sinn.
Die Einsätze wären höher und realistischer als bei „Lass uns ein Fest planen“ – „Okay, ich hole Holz“.
Fairerweise könnte das im Paper behandelt werden. Jedenfalls wirkt das hier irgendwie wie ein Preprint eines Preprints.
Erinnert mich an Dwarf Fortress. Ein Spiel, das Tausende Jahre Zwergenweltzeit, sich verändernde Landschaften sowie Aufstieg und Fall von Zwergenkönigreichen simuliert und dann sieben vom Spieler gesteuerte Zwerge auf der Karte absetzt mit dem Auftrag: „Viel Spaß!“
Es könnte ein nützliches Spielzeugmodell sein, um Bereiche zu finden, in denen man untersuchen kann, ob sich das Verhalten realer Zivilisationen vorhersagen lässt, aber einen KI-Durchbruch sehe ich hier nicht.
Vielleicht, wenn Project Sid 6.7 erscheint.
Vom Inhalt her dachte ich, der Film wäre ein paar Jahre später erschienen. Wenn man 90er-Cyberpunk-Filme mag, ist er sehenswert.
https://www.imdb.com/title/tt0114857/
https://en.wikipedia.org/wiki/Virtuosity
Es gibt auch einen Blog-Ankündigungsbeitrag: https://digitalhumanity.substack.com/p/project-sid-many-agen...
Beim Lesen des Papers wirkt es, als sei Ursache und Wirkung vertauscht.
Die Agenten können Minecraft nicht wirklich eigenständig spielen und auch die ihnen zugewiesenen oder von ihnen übernommenen Aufgaben nicht erfolgreich erledigen. In gewisser Weise ist es so, als würde man einem Hund Menschenkleidung anziehen und das dann als menschenähnliche Zivilisation bezeichnen.
Außerdem sind zentrale Elemente faktisch hardcodiert. Das gilt offenbar für die möglichen Gesellschaftstypen und vermutlich auch für die Rollennamen. Mir ist auch nicht ganz klar, was soziale Organisation hier überhaupt bedeuten soll. Selbst in der stärksten Auslegung heißt das höchstens, dass dieses Agenten-Framework vielleicht für NPCs in Spielen taugen könnte – also die Behauptung, dass Agenten Rollen und Fraktionen beibehalten.
Besonders wenig plausibel ist die Behauptung, ein Agent könne „rechtliche Strukturen nutzen“. Denn „nutze rechtliche Strukturen“ steckt in mehreren Agentenhandlungen fest verdrahtet drin. Der Versuch, das auf reale menschliche Gesellschaften zu übertragen, ist lächerlich, und es hilft auch nicht, dass die Autoren Soziologie und Anthropologie unbekümmert ignorieren.
Es gibt noch andere zweifelhafte Behauptungen. Ich habe gesagt, ich „glaube“, dass die Rollennamen hardcodiert sind, aber sofern ich nichts übersehen habe, sind die Informationen in kaum akzeptablem Maß vage. In keinem Agenten-Prompt sehe ich etwas, das neue Rollen erzeugen oder Rollen selbst zuweisen lässt. Vielleicht habe ich etwas übersehen, aber je mehr ich lese, desto verwirrter werde ich.
Es wird behauptet, die Agenten hätten über 12 Minecraft-Tage hinweg langfristige soziale Beziehungen aufgebaut, aber das sind in realer Zeit nur vier Stunden, und Agenten erleben reale Zeit. Die Länge eines Minecraft-Tags ist unerheblich. „Aufbau langfristiger sozialer Beziehungen“ und „Nutzung rechtlicher Strukturen“ wirken nicht nur übertrieben, sondern unehrlich.
Der Teil über die Verbreitung von Memes und Religion ignoriert Kontamination der Trainingsdaten von GPT-4 vollständig. Das zusammengefasste Meme zeigt deutlich, dass das reale Pastafarian-Meme bekannt ist; daraus zu schließen, dieses Meme habe sich „verbreitet“, ist daher falsch. Viel wahrscheinlicher ist, dass es in Agenten, die dieses Meme bereits kannten, wieder aufgerufen wurde. Ich frage mich, warum man nicht mit einer wirklich neuen fiktiven Religion experimentiert hat.
Einige Meme-Beispiele wie „oak log crafting syndrome“ wirken neu, aber Dinge wie „meditation circle“ oder „vintage fashion and retro projects“ haben fast nichts mit Minecraft zu tun und sind mit hoher Wahrscheinlichkeit Halluzinationen von GPT-4.
Insgesamt scheint der Einsatz von GPT-4 für ehrliche Forschung ein furchtbarer Fehler zu sein.
Wenn man ihm zum Beispiel einen n×n-Brettzustand als Weltmodell gibt und eine endliche Menge an Optionen bereitstellt, kann der Agent das Spiel stabil spielen und dem Spielleiter seine Entscheidungen erklären. Das erzeugt die Illusion, der Agent würde schlussfolgern.
Am Ende sehe ich es als ein Codierungsproblem, bei dem das Weltmodell in einfache Entscheidungsprobleme zerlegt wird.
[1] https://jdsemrau.substack.com/p/evaluating-consciousness-and...