What if Eye..? - Was wäre, wenn das Auge... ?

 (eyes.mit.edu)
1 Punkte von GN⁺ 2025-02-15 | 1 Kommentare | Auf WhatsApp teilen
  • What if Eye...? ist ein Projekt, das die Evolution in einem videospielähnlichen Universum erneut durchlaufen lässt, um die Prinzipien biologischer visueller Intelligenz und neue Formen künstlicher Intelligenz rechnerisch zu erforschen
  • Agenten beginnen mit einer einzelnen lichtempfindlichen Zelle und einem kleinen Gehirn und entwickeln visuelle Intelligenz unter realer Physik, verkörperten Beschränkungen und Überlebensdruck
  • Wenn man Ziele wie Navigation und Erkennung verändert, lässt sich vergleichen, welche Augenstrukturen und Verhaltensweisen auf natürliche Weise entstehen
  • Wenn Gehirn- und Augengröße gemeinsam skaliert werden, zeigt sich Potenzgesetz-Skalierung; wenn jedoch die Sehschärfe der Engpass ist, führen größere Gehirne allein nicht mehr zu besserem Verhalten
  • Werden optische Gene aktiviert, taucht linsenbasierte Optik wiederholt auf und funktioniert als Lösung für den grundlegenden Trade-off zwischen Lichtsammlung und räumlicher Präzision

Eine experimentelle Umgebung, die die Evolution des Sehens erneut durchspielt

  • What if Eye...? geht von der Annahme aus, dass „Evolution nur einmal stattgefunden hat“, und rekonstruiert die Evolution des Sehens rechnerisch in einem videospielähnlichen Universum
  • Ziel ist nicht visuelle Intelligenz, die mit festen Datensätzen und menschlichen Verzerrungen entworfen wurde, sondern eine Umgebung, in der Sensor-Hardware sowie Wahrnehmungs-, Schlussfolgerungs- und Verhaltens-Software emergieren
  • Agenten starten nur mit einer einzelnen lichtempfindlichen Zelle und einem kleinen Gehirn
    • Sie sind mit realen physikalischen Bedingungen konfrontiert
    • Sie unterliegen verkörperten Beschränkungen
    • Sie entwickeln visuelle Intelligenz unter Überlebensdruck
  • Jedes Experiment ist wie eine einzelne Hypothese aufgebaut
    • Es setzt What-if-Fragen oder kontrafaktische Bedingungen
    • Es entwickelt verkörperte Agenten innerhalb einer videospielähnlichen Physik-Engine
    • Es beobachtet, welche Augen und Verhaltensweisen entstehen

Bedingungen, unter denen sich Auge und Gehirn gemeinsam entwickeln

  • Wenn sich die Ziele des Sehens unterscheiden, entwickeln sich Agenten in einer Welt mit nur zwei Aufgaben
    • NAVIGATION: Ziel ist es, sich so schnell wie möglich nach links zu bewegen und dabei Labyrinthwänden als Hindernissen auszuweichen
    • DETECTION: Ziel ist es, Nahrung zu erkennen und Gift zu vermeiden
  • Unter Bedingungen, in denen das Gehirn während der gesamten Evolution klein bleibt, zeigt sich beim systematischen gemeinsamen Skalieren von Auge und Gehirn eine Potenzgesetz-Skalierung zwischen neuronaler Kapazität und Aufgabenleistung
    • Diese Beziehung gilt nur, wenn auch die visuelle Auflösung gemeinsam skaliert wird
    • Wenn die visuelle Auflösung der Engpass ist, führt ein größeres Gehirn allein nicht zu besserem Verhalten
  • Unter Bedingungen, in denen das Auge Licht brechen kann, werden optische Gene aktiviert
    • Ohne Optik kann eine Lochblendenstrategie Bilder schärfer machen, stößt jedoch an Grenzen, weil dabei Licht geopfert wird
    • Mit Optik entstehen Linsen als Lösung für den Trade-off zwischen Lichtsammlung und räumlicher Präzision
  • Der integrierte Genotyp umfasst gemeinsam physische visuelle Sensor-Hardware und Software-Komponenten für das Lernen
    • Morphologie-Gene bestimmen räumliche Abtasteigenschaften wie Augenposition und Sichtfeldwinkel
    • Optik-Gene behandeln Lichtinteraktionen wie Zahl der Photorezeptoren, optische Elemente und Pupillengröße
    • Neuronale Gene legen die Lernkapazität fest
    • Die drei Gen-Cluster können unabhängig mutieren, um realistische Evolutionspfade zu erkunden

Öffentliche Materialien und Vorträge

  • Das Projekt bietet eine Arbeit, eine Roadmap, Vorträge, Open-Source-Tools und eine öffentliche Ausstellung
  • Zu den wichtigsten Veröffentlichungen gehören
    • Computationally Recreating Vision Evolution: eine in Science Advances peer-reviewte Arbeit mit dem vollständigen experimentellen Aufbau, den Ergebnissen und der Evolutionsanalyse
    • A Roadmap for Generative Design of Visual Intelligence: ein MIT-Press-Beitrag, der darlegt, warum visuelle Intelligenz erzeugt statt von Hand entworfen werden sollte, sowie Anwendungen und Ansätze zusammenfasst
    • Designing Imaging Systems with Reinforcement Learning: eine ICCV-Arbeit, die einen Ansatz zur gemeinsamen Gestaltung von Bildgebungssystemen und auf Aufgaben spezialisierten Wahrnehmungsmodellen auf Basis von Umgebungsfeedback vorschlägt
    • Emergence of foveal image sampling from learning to attend in visual scene: eine NeurIPS-Arbeit darüber, dass beim Lernen von Aufmerksamkeit in visuellen Szenen foveale Bildabtastung entsteht
    • Designing neural network architectures using reinforcement learning: eine ICLR-Arbeit zur Gestaltung von neuronalen Netzwerkarchitekturen mit Reinforcement Learning zur Verbesserung der Leistung bei Sehaufgaben
    • The First Signs of Vision: Cathy Changs MIT-Arbeit über eine interaktive Simulation der Evolution des tierischen Sehens von der kambrischen Explosion bis heute
  • Zu den öffentlichen Vorträgen gehören
  • Es werden auch Code- und Ausstellungselemente bereitgestellt
    • Simulator: ein Open-Source-Tool, mit dem sich der Evolutionssimulator ausführen, neue Aufgaben definieren und verkörperte Agenten direkt entwickeln lassen
    • Colab Notebook: ein interaktives Notebook zum Experimentieren mit Cambrian agents im Browser, das noch nicht öffentlich verfügbar ist
    • Video Exhibition: eine öffentlich zugängliche Mitmach-Ausstellung, in der Besucher evolvierendes Sehen selbst erleben können
  • Diese Zusammenarbeit wird durch den MIT GenAI Impacts of Generative AI Grant unterstützt

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2025-02-15
Meinungen auf Hacker News

  • Mein Informatiklehrer in der Highschool hat uns einmal etwas über die Augen von Pfeilschwanzkrebsen beigebracht.
    Er sagte, dass Pfeilschwanzkrebse nichts sehen können, was größer ist als ihr Sichtfeld, weshalb sie kleine Lebewesen fressen und große ignorieren; dafür verwendete er in Excel ein neuronales Netzmodell.
    Er war ein großartiger Lehrer, brachte uns bei, wie man in der Informatik Neugier und Einsicht entwickelt, und machte uns auch mit Donald Knuth, TeX und anderem bekannt.

    • Ich kann mir schwer vorstellen, was es heißt, etwas nicht sehen zu können, das größer ist als das Sichtfeld.
      Vielleicht ist es so ähnlich wie bei Menschen: Wenn sich direkt vor dem Auge ein ausreichend großes, gleichmäßig leuchtendes Objekt befindet, kann man kaum sagen, dass man es „sieht“.

  • Dawkins erklärt hier ebenfalls knapp die Evolution des Auges: https://www.youtube.com/watch?v=2X1iwLqM2t0

    • Der Vortrag beginnt mit: „Nehmen wir an, wir beginnen mit einem Vorfahren, der überhaupt keine Augen hat, sondern nur eine Schicht lichtempfindlicher Zellen.“
      Diese Voraussetzung ist so elementar, dass der Schritt von null zu „einer Schicht lichtempfindlicher Zellen“ fast wie nichts wirkt, tatsächlich ist er das aber nicht.
      Davor braucht es Photorezeptor-Proteine, ein funktionierendes Nervensystem oder Signalverarbeitungswege, einen Mechanismus, der Lichtabsorption in elektrische Signale umwandelt, und ein System, das diese Signale mit anderen Teilen des Organismus koordiniert.

  • Das ist wohl eher eine Frage der Physik/Informatik als der Biologie, aber ich frage mich, wie weit wir noch von einem Physiksimulator entfernt sind, der gut genug ist, um ein Experiment wie das, das MIT mit Augen gemacht hat, auf ganze Organismen anzuwenden.
    Wenn das eines Tages möglich wird und man die Physik der Erde eingibt, sodass Organismen herauskommen, die irdischem Leben grob ähneln, könnte man wohl auch die Physik eines Exoplaneten eingeben und herausfinden, wie dessen Lebewesen aussehen könnten.

    • Interessanterweise baue ich gerade hobbymäßig etwas Ähnliches. Ich werde es demnächst als Open Source veröffentlichen: https://www.youtube.com/watch?v=PDePFvxj6Po
      Um die Komplexität eines ganzen Organismus zu modellieren, ist es meiner Ansicht nach noch ein ziemlich weiter Weg. Wenn das Ziel aber ist, Forschungsfragen zu beantworten, lassen sich auch heute schon einfachere Versionen modellieren. So wie dieses Forschungsteam behandelt hat, wie sich Sehen entwickelt.
      Kürzlich wurde C. elegans in 3D modelliert, einschließlich aller Neuronen und Neurotransmitter, und es reagierte auf virtuelle Reize wie ein echter Wurm (https://www.nature.com/articles/s43588-024-00738-w).
      Einzelne Organismen sind bereits möglich, aber bis sich solche Wesen in 3D evolvieren, wird es wohl noch länger dauern. Zur Einordnung: Ich bin kein Informatiker, nur ein Enthusiast.
    • Je nach gewünschter Genauigkeit der Simulation reicht die Antwort von „das ging schon in den 80ern“ bis „buchstäblich unmöglich“.
    • Als ich vor zehn Jahren noch in der Wissenschaft war, begannen die Rechenkosten schon stark anzusteigen, wenn man mehr als acht Wassermoleküle zur Solvatation eines Ions modellierte.
      Es hängt davon ab, wie genau man das Modell machen will; wenn man an ein traumhaft hohes Niveau denkt, bräuchte man meiner Meinung nach Quantencomputing, damit solche Simulationen sinnvoll werden.
    • Philosophisch gesehen könnte man sagen, dass es unmöglich ist.
      Die Vorstellung von Gesetzen, wie man sie etwa in der Mathematik anwendet, passt möglicherweise nicht auf Organismen, weil Organismen teleologisch erklärt werden. Das Herz lässt Blut nicht zufällig zirkulieren; es schlägt, um Blut zirkulieren zu lassen und den Körper mit Sauerstoff zu versorgen.
      Außerdem bedeutet der Umstand, dass Lebewesen in kalten Klimazonen im Allgemeinen dickes Fell haben, nicht, dass dickes Fell automatisch auf ein kaltes Klima verweist. Manche Säugetiere füllen in einem Ökosystem die ökologische Nische aus, die anderswo Vögel besetzen, und an anderer Stelle übernehmen Fische diese Rolle. In Neuseeland füllen Vögel Nischen, die in anderen Ökosystemen Säugetiere besetzen würden.
      Ich bin mir nicht sicher, ob Biologie eine rein induktive Wissenschaft sein kann.
    • Physiksimulationen von Muskeln und Skelettstrukturen gab es schon mehrfach; ich finde diese Studie interessant, weil sie sich auf Augen und Sehen konzentriert.
      Entsprechende YouTube-Videos sind ebenfalls eine ziemlich unterhaltsame Kategorie: https://www.google.com/search?q=simulating+evolution+muscles
      Meist sind sie zweidimensional oder enthalten starke Vereinfachungen. Wenn man versucht, „echte“ Organismen zu evolvieren, dürfte die Komplexität sehr schnell explodieren, selbst wenn man das „Gehirn“ ignoriert.

  • Ich musste an das „Autoverse“ aus Greg Egans Permutation City (1994) denken. Wenn dir dieser Artikel gefallen hat, kann ich es sehr empfehlen.

    • Wenn du etwas Kürzeres lesen möchtest, gibt es vom selben Autor auch „Crystal Nights“: https://www.gregegan.net/MISC/CRYSTAL/Crystal.html
    • Stimme zu. Auch Diaspora desselben Autors empfehle ich sehr. Es könnte etwas zugänglicher sein als „Permutation City“.

  • Eine interessante Tatsache zur Evolution des Auges: Der schwarze Punkt, den man in den Augen von Libellen sieht, ist weder eine mitwandernde Pupille noch eine Veränderung des Auges selbst.
    Tatsächlich blickt man frontal in die säulenartige Struktur des Libellenauges. Sie fängt Licht sehr effizient ein und erscheint deshalb schwarz; in puncto Effizienz liegt sie sehr nahe an der physikalischen Grenze.

    • Ich verstehe das nicht ganz. Erscheint die menschliche Pupille nicht auch schwarz, weil Licht hineingeht und nicht wieder herauskommt?
    • Haben Libellen damit also ein Skalierungsgesetz erreicht?

  • Aus meiner Erfahrung mit dem Bau von Artificial-Life-Simulatoren in den 90ern hängt in solchen Modellen zu viel von den Parametern ab, die der Autor der Simulation hineinsteckt.
    Wenn man mit lichtempfindlichen Zellen beginnt und einen genetischen Algorithmus erstellt, der Akteure dafür belohnt, gut durch ein Labyrinth zu kommen, dann „evolvieren“ am Ende Akteure, die mehrere lichtempfindliche Zellen wie Augen nutzen.
    Ich frage mich, ob das wirklich etwas über Evolution oder Leben aussagt oder nur über die eingerichtete Simulation.

    • Ich würde sagen: das Dritte, aber ich denke auch, dass es sich von den früheren Kitchen-Sink-Simulationen von Organismen unterscheidet. Die waren eher ein Beobachten, wie flach programmierte Verhaltensweisen miteinander interagieren.
      Das hier ist weniger eine Simulation als vielmehr ein Modell, und zwar eines, das ein bestimmtes reales Phänomen möglichst fokussiert und knapp erklären will.
      Der Erkenntnisgewinn besteht hier darin, dass zwei Arten von Augen — Facettenaugen und kameraartige Augen — mit einem Satz von drei spezifischen Aufgaben und minimalen anatomischen Stellgrößen modelliert werden können.
      Dann kann es tatsächlich nützlich sein, die klaren Belege aus dem Modell zu vergleichen und gegenüberzustellen und zu sehen, wie diese Erklärung zu den weniger definitiven Erklärungen passt, die man mit Methoden der Evolutionsbiologie erhält.
      Eine gute Analogie wäre zu prüfen, ob sich das „Entstehen“ moderner superskalarer Mikroarchitekturen allein mit Gates, Latches und Clocks erklären lässt. Gemeint ist: Man muss nicht das analoge Chaos modellieren, das entsteht, wenn man hohe Frequenzen in physische Schaltungen presst.
    • Natürlich geht es um Letzteres. Anders als in der Physik kann man es nicht einfach experimentell verifizieren, also ist das alles, was man hat.
      Die passende Frage ist wohl, ob dieses Wissen völlig nutzlos ist oder ob es später einmal bei etwas helfen kann.

  • Bei einem Titel wie „von Grund auf“ hätte ich erwartet, dass auch ein einzelner Photorezeptor dabei gezeigt wird, wie er sich aus etwas anderem entwickelt.

  • Ich habe die Website vorübergehend gespiegelt, bis das dort drüben behoben ist: https://cambrian.pages.dev/
    Die Website scheint kaputt zu sein (wurde das Repository gelöscht?), daher musste ich stattdessen hierhin gehen: https://eyes.mit.edu/ACI/
    Und das Paper, um das es auf der Website geht, ist hier: https://arxiv.org/pdf/2501.15001

    • Jetzt ist sie wieder online.

  • Ich bin der Autor. Wenn ihr Fragen habt, beantworte ich sie gern.

    • Was ist hier das Ziel? Ich würde gern wissen, was ihr damit künftig vorhabt.