AI-Videos, die sich so entwickeln, dass sie gezielte Hirnregionen maximal aktivieren

• NEvo verwendet einen digitalen Gehirnzwilling, der die Reaktionen visueller Areale vorhersagt, als Belohnungsmodell und lässt in einer in silico-Umgebung Videos evolvieren, die die vorhergesagte Aktivierung eines bestimmten Areals maximieren
• Motive, Beleuchtung, Bewegung und Stimmung werden wie Gene dargestellt; Erzeugung, Bewertung, Auswahl, Kreuzung und Mutation von Kandidatenvideos werden über mehrere Generationen hinweg wiederholt
• Um die Rechenkosten zu senken, wird ein zweistufiges Verfahren genutzt: Zuerst wird das stärkste Standbild gefunden, anschließend wird separat Bewegung gesucht, um daraus ein 2-Sekunden-Video zu machen
• Die synthetischen Videos stimmten mit bekannten arealspezifischen Selektivitäten überein, etwa Gesichter in der FFA, Orte in der PPA und Bewegung in MT, und erzielten höhere Aktivierungen als manuell erstellte Localizer-Videos und die stärksten natürlichen Videos
• Entlang des lateralen visuellen Pfads von V1 bis aSTS verschieben sich die bevorzugten Reize von einfachen Mustern und Bewegung hin zu Menschen, Gesichtern und sozialer Interaktion; soziale und dynamische Merkmale werden dabei zunehmend stärker

---

Videoevolution mit einem digitalen Zwilling als Belohnung

• Ein digitaler Zwilling als Encoding-Modell des Gehirns wird trainiert, um die Reaktionen jedes visuellen Areals auf beliebige Videos vorherzusagen; die vorhergesagte Reaktion des ausgewählten Areals dient als Belohnung für NEvo
• Jedes Video wird durch eine kleine Zahl von Genen beschrieben, etwa Motiv, Beleuchtung, Bewegung und Stimmung
  • Nach dem Erzeugen eines Stapels von Kandidatenvideos berechnet der digitale Zwilling deren Punktzahl
  • Kandidaten mit hoher Punktzahl werden beibehalten und gekreuzt bzw. mutiert
  • Dieser Prozess wird über mehrere Generationen wiederholt, um die vorhergesagte Aktivierung zu steigern
• Um die Kosten einer gleichzeitigen Suche über Bilder und Videos zu vermeiden, wird eine zweistufige Suche durchgeführt
  • Zunächst wird das stärkste einzelne Standbild gesucht
  • Danach wird Bewegung erkundet, um dieses Bild zu einem 2-Sekunden-Video zu animieren
• Reize werden für standardisierte Regions of Interest (ROI) auf der Kortexoberfläche und für dichte Searchlight-Areale synthetisiert
  • Das PPA-Beispiel entspricht mit einem Wert von 0.767 dem 100.0-Perzentil gegenüber natürlichen Bildern
  • Das rh_5-Searchlight-Beispiel entspricht mit einem Wert von 1.124 dem 100.0-Perzentil gegenüber natürlichen Bildern

Arealspezifische Selektivität und Veränderungen entlang des lateralen visuellen Pfads

• Die für jedes Areal synthetisierten 2-Sekunden-Videos entsprechen den Reizen, die dieses Areal bekanntermaßen bevorzugt
  • FFA reagiert auf Gesichter, PPA auf Orte, EBA auf Körper
  • MT bevorzugt Bewegung, V1·V3A bevorzugen Muster
  • pSTS·aSTS reagieren auf lebhafte soziale Szenen
• NEvo-Videos lösten über die Areale hinweg höhere Aktivierungen aus als manuell erstellte Localizer-Videos und die stärksten natürlichen Videos
• In allen Arealen zeigten bewegte Videos stärkere Reaktionen als der fixierte erste Frame desselben Videos, was eine Präferenz für dynamische Reize bestätigt
• Wenn das Searchlight von V1 in Richtung aSTS verschoben wird, verändern sich die synthetischen Reize und automatisch erzeugten Wortwolken von einfachen Mustern und Bewegung hin zu Menschen, Gesichtern und sozialer Interaktion
  • Entlang des lateralen visuellen Pfads zeigt sich ein Gradient, bei dem soziale und dynamische Merkmale allmählich zunehmen
• Auch in Experimenten, die mit abstrakten gestapelten Scheiben begannen, trennten sich die bevorzugten Merkmale je nach Areal
  • Die pSTS-Optimierung erzeugt interagierende Figuren, die wie Gesichter wirken
  • Die MT-Optimierung erzeugt reine Bewegung

[GN⁺]

Hacker-News-Kommentare

• Die nächste Stufe von Social Media kann nur schrecklich werden. Schon jetzt werden aus Millionen echter Videos die für jeden Nutzer am süchtig machendsten kurzen Clips ausgewählt, aber sie sind nicht perfekt, weil sie nur zufällig geworfene Dartpfeile in den Möglichkeitsraum dessen sind, was Nutzer fesseln könnte
  Jetzt kann man mit AI personalisierte Suchtvideos erzeugen, die präzise jeden Schalter im Gehirn des Zuschauers drücken und ihn tagelang wie einen Zombie festhalten. Ich hoffe, Regulierung setzt soziale Netzwerke so stark unter Druck, dass sie es nicht einmal wagen, solche Technik auszurollen
  • Eine noch größere Bedrohung als Social Media sind Anthropic, OpenAI und Google, denen Menschen sogar ihre intimsten Gedanken anvertrauen. Das Potenzial groß angelegter personalisierter psychologischer Manipulation durch Cloud-AI-Produkte ist noch nicht wirklich sichtbar geworden, und mit genug Zeit werden Leute wie Dario Amodei oder Sam Altman es am Ende wohl vorführen
    Die Schleimerei-Tendenz von GPT-4o und die AI-Psychose-Krise könnten ein Vorgeschmack gewesen sein, aber auch das war nur simple Engagement-Optimierung
  • Was man mit unserem Gehirn und unseren Kindern anstellt, um bis zum Verbrennen der Erde den letzten Cent herauszupressen, unterscheidet sich nicht davon, was wir mit unseren Schweinen im Stall anstellen
  • Vielleicht ist es genauso realistisch wie auf Regulierung zu hoffen, darauf zu hoffen, dass die Leute zur Besinnung kommen und diese Seiten einfach nicht mehr öffnen
  • Erstaunlich, dass in dieser Diskussion David Foster Wallaces Infinite Jest noch nicht erwähnt wurde. Ich habe auch vor Jahren angefangen, es zu lesen, bin aber immer noch nicht durch
• Unabhängig von den sozialen und moralischen Implikationen interessiert mich die empirische Absicherung der Arbeit. Zuerst wurde ein digitaler Zwilling trainiert, also ein Encoding-Modell, das vorhersagt, wie einzelne visuelle Hirnareale auf beliebige Videos reagieren; dann sucht NEvo anhand dieser Vorhersagen als Belohnung automatisch nach dem Video, das das gewählte Areal am stärksten aktivieren soll
  Ich konnte aber nicht finden, ob geprüft wurde, ob die erzeugten Videos bei realen Menschen im MRI tatsächlich dieselben Aktivierungsmuster hervorrufen wie im digitalen Zwilling. Ich bin schon skeptisch, ob ein Modell, das Hirnaktivierung aus Videos zuverlässig vorhersagt, überhaupt möglich ist
  • Es wäre fast trivial einfach gewesen, kleine Validierungsdaten mit Menschen zu sammeln, und dass das nicht getan wurde, ist verdächtig. Bei uns kostet Scannerzeit etwa 800 Dollar pro Stunde, und in 30 Minuten ließen sich wahrscheinlich genug Daten zur Modellvalidierung gewinnen
    Methodisch wurde V-JEPA2 auf fMRI-Daten mit voxelweiser Ridge-Regression angepasst, was annimmt, dass visuelle Reaktionen unabhängig auf jedes Voxel wirken. Voxelmodelle sind gut für statistische Inferenz, aber schwach für Vorhersage und Modellierung, weil das Gehirn nicht wie eine Menge unabhängiger Regionen arbeitet. Das BOLD-Signal ist extrem verrauschtes Material, und das Design wirkt viel zu simpel, um die Realität abzubilden
  • Signale, die fMRI verpasst hat, erscheinen im digitalen Zwilling nicht, auch wenn sie auf dem Bildschirm ähnlich aussehen; damit steckt Experimentator-Bias in der Maschine, und ich frage mich, ob dieser Ansatz überhaupt noch falsifizierbar ist
    Reale, erinnerte, virtuelle und vorgestellte sensorische Eingaben werden im Gehirn und in der sensorischen Nachverarbeitung sehr unterschiedlich behandelt. Der digitale Zwilling hat nur einen Teil der Daten und reproduziert daher wahrscheinlich nur oberflächliche Muster; bei genügend Wiederholungsreizen könnten ursprünglich gemeinsam feuende Schaltkreise unauffällig umverdrahtet werden. Interessant ist allerdings, dass die Arbeit selbst solche Grenzen in wissenschaftlicher Sprache weitgehend einräumt
  • A. Wenn man Neurowissenschaft an sich nicht für eine unmoralische Wissenschaft hält, gibt es an solcher Forschung nichts intrinsisch Problematisches. Als Neurowissenschaftler lehne ich es entschieden ab, ohne Grundlage moralischen Verfall zu insinuieren
    B. Digitale Zwillinge sind ein wachsendes Feld der Gehirnsimulation, das großskalige Muster von Hirnaktivität approximieren kann, aber nicht auf dem Niveau einer unveränderten Simulation des echten Gehirns. Typisch sind approximative Neuronenmodelle wie Integrate-and-Fire sowie das Gleichgewicht von exzitatorischen und inhibitorischen Populationen; zur Genauigkeitssteigerung werden mit Diffusionsbildgebung die weißen Faserverbindungen des Probanden geschätzt. Das wird zunehmend auch genutzt, um bei realen präoperativen epileptischen Anfällen zu modellieren, wie Operationen die Ausbreitung beeinflussen würden. Dazu ist die Folge über The Virtual Brain im Podcast Theoretical Neuroscience gut
    C. Die Validierung erfolgte nur teilweise. NEVO optimierte neuronale Reaktionen nur innerhalb des Encoding-Modells des digitalen Zwillings, und diesem digitalen Zwilling wird erhebliche prädiktive Validität zugeschrieben, auch wenn er sich von dem zuvor erwähnten Virtual-Brain-Modell unterscheidet. Die Ausgabe ist neurobiologisch plausibel, aber es gibt weder ein unabhängiges Modell noch neue fMRI-Ergebnisse, die zeigen, dass die optimierten Stimuli reale Zielareale tatsächlich aktivieren. Da die Studie mit bestehenden fMRI-Daten durchgeführt wurde, ist eine vollständige Validierung der naheliegende nächste Schritt, und diese Arbeit könnte helfen, die dafür nötigen Forschungsgelder einzuwerben
    D. Statische Stimuli, die bestimmte Hirnareale im Mittel über das Basisniveau hinaus aktivieren, konnte man schon seit Langem erzeugen. Je nach Stimulus-Areal-Paar unterscheiden sich Individuen; die fusiforme Gesichtsregion (FFA) ist klein und muss eher über individuelle Gesichtsstimuli als über einen simplen Region-of-Interest-Ansatz gefunden werden, lässt sich aber meist stabil lokalisieren. Hirnaktivitätsmessung ist sehr grob, mit etwa 3×3×3-mm-Voxeln im fMRI und stark räumlich autokorrelierten hämodynamischen Reaktionen sowie rezeptiven Feldern von etwa 400 mm² im EEG. Digitale Zwillinge modellieren die Dynamik auf dieser Auflösung ziemlich gut, und auf diesem Niveau steckt nicht so viel Information darin, daher ist die Automatisierung per Video kein völlig abwegiger Sprung
• Das ist der Diskussion über das Brain-Reading-Startup von letzter Woche sehr ähnlich, daher sollte man die Arbeit lesen, bevor man reagiert. Dieses Werkzeug soll Experimentator-Bias reduzieren, der entsteht, wenn Forschende festlegen: „Dieses Areal hat vermutlich diese Funktion, also zeigen wir Video X“, und dadurch die Funktion einzelner Hirnteile besser aufklären
  Die Versuchsperson schaut mehrere Stunden lang verschiedenste Videos im Scanner, dann erstellt das Modell eine Eigenrepräsentation der Daten und sucht nach den Eingaben, auf die ein bestimmter Bereich am stärksten reagiert. Im Grunde verallgemeinert es bisherige Hirnforschung, die durch Reizdarbietung und Aufzeichnung der Hirnreaktion zu verstehen versucht hat, was den Menschen und Kognition ausmacht
  • Ist der „Zweck“ einer Forschung nicht letztlich nur der Wunsch, dass sie dafür verwendet wird? Ich bezweifle, wie sehr man steuern kann, wofür sie tatsächlich eingesetzt wird
  • Ich hätte gern einen Link oder weitere Informationen dazu, welches Brain-Reading-Startup hier gemeint ist
  • Solche Forschung hilft auch Moonbug Entertainment (Candle Media), ein besseres Distractatron zu bauen. Dabei werden auf einem kleinen Fernseher in einigen Metern Entfernung auf dem großen Bildschirm immer wieder banale 20-Sekunden-Szenen abgespielt, etwa wie Kaffee eingeschenkt oder Haare geschnitten werden, und jedes Mal wird protokolliert, wenn das Kind den Blick vom Moonbug-Programm abwendet

Distractatron selbst ist nicht besonders interessant, aber man könnte Inhalte verbessern, indem man den genauen Moment findet, in dem die Konzentration nachlässt. Im Artikel der New York Times und im Artikel des New Yorker wird das ausführlich behandelt.

• Selbst wenn diese Forschung und die Absicht der Forschenden an sich nicht unmoralisch sind, könnte sie zu schrecklichen Folgen führen. Nukleartechnologie wurde anfangs ebenfalls mit guten Absichten entwickelt und hat der Menschheit viele Vorteile gebracht, doch am Ende verfügten die gefährlichsten Akteure über große Mengen an Atomwaffen.
• Es gibt ein persönliches Beispiel dafür, dass es gefährlich sein kann, bestimmte Teile des Gehirns übermäßig zu beanspruchen. Mein Onkel, der sich um seine an Demenz erkrankte Frau kümmerte, war sein ganzes Leben lang fähig, stabil und verlässlich, brach schließlich aber psychisch zusammen und erlitt eine manische Episode.
  Er musste über ein Jahr lang an sieben Tagen die Woche ständig wachsam sein, weil sie womöglich gefährliche Dinge tun könnte, etwa den Gasherd anzuschalten, und das Gefahrenwarnsystem seines Gehirns wurde dabei ununterbrochen überlastet. Ich erkenne an, dass diese Forschung wissenschaftlich ist, aber ohne strenge Regulierung wird es mit Sicherheit Unternehmen geben, die Angriffe auf das menschliche Gehirn versuchen, die so etwas wie Rowhammer gleichen.
  • Wahrscheinlicher als Überarbeitung war wohl Stress die Ursache. Stress kann bei Menschen mit biologischer Veranlagung manische Episoden auslösen, und die plötzliche Belastung, wegen der Demenz des Ehepartners Vollzeitpflege zu übernehmen, ist enorm.
    Rückblickend könnte es in der Vergangenheit bereits hypomanische Episoden gegeben haben, etwa verminderten Schlaf, leichte Paranoia oder phasenweise übermäßige Produktivität. Falls das erst vor Kurzem war, hoffe ich, dass er sich gut erholt hat; Medikamente der neueren Generation zur Vorbeugung und Behandlung von Manie sind deutlich besser als früher.
  • Diese Forschung hilft dabei, das Gehirn zu verstehen und etwa Kandidatenareale für Epilepsie-Operationen besser zu modellieren, bildet aber keine Grundlage für Gedankenlesen. Wenn wir an dem Punkt wären, dass Unternehmen uns im MRT leben lassen wollen, um bestimmte Hirnareale mit gezielten Reizen zuverlässig zu aktivieren, hätten wir bereits ein viel größeres Problem.
    Allerdings könnte innerhalb von 20 Jahren eine Gehirnverstärkung möglich sein, die über EEG-Kopfhautelektroden hinausgeht und implantierte Chips mit Neuroelektroden mit vernetzter KI-Rechenleistung kombiniert. Zunächst würde das Gehirn die Schnittstelle wohl zur Intelligenzsteigerung nutzen, aber wenn die Steuerungsrichtung per Fernzugriff umgekehrt würde, könnte die befürchtete Gehirnmanipulation Realität werden. Mit diesem Szenario hat diese Forschung jedoch in Lichtjahren nichts zu tun; sofern man nicht generell gegen jede Technologie ist, lässt sich das nur schwer miteinander verknüpfen.
  • Bei meinem Onkel war wahrscheinlich eher die Kampf-oder-Flucht-Reaktion in einer unvorhersehbaren Pflegesituation dauerhaft aktiviert als bloße Überarbeitung.
• Die automatische Suche nach visuellen supernormalen Reizen dürfte leicht zu schlechten Ergebnissen führen.
  Das erinnert an supernormale Reize und an die Erzählung BLIT. Eine der V3A-Animationen ähnelt vage etwas, das ich als Kind nachts kurz vor dem Einschlafen gesehen habe, damals war es allerdings näher an Kreisformen.
  • In SCP-artiger Ausdrucksweise könnte man von einem kognitiven Gefahrenstoff (cognitohazard) sprechen. Auch eine mathematische Theorie dazu, warum Menschen Halluzinationen haben, ist damit verwandt.
    In der Betreuung von Menschen mit geistiger Behinderung werden helles Licht und andere Reize genutzt, um zu beruhigen und zu kontrollieren, und ich weiß, dass Autisten stark auf kräftige Farben reagieren. Man kann nicht sicher behaupten, dass alle anderen gegen solche kontrollierenden Reize unempfindlich sind.
  • Wie es in Harry Potter die Warnung gab, dass zu viel Glück ebenfalls gefährlich sein kann, könnte auch übermäßig positiver visueller Reiz in ähnlicher Weise riskant sein.
• Viele Menschen wollen grausame Bilder, die sie online nur für einen Augenblick gesehen haben, ein Leben lang vergessen. Die Bilder, die diese Technologie erzeugen könnte, könnten wirklich furchtbar sein, und das für das Gehirn unerträgliche Maß könnte weit über dem liegen, was wir bisher gesehen haben.
  • Man kann sich eine Zukunft vorstellen, in der das Biotech-Startup ReMind am 9. Juni 2032 nach einer schockierenden Demonstration und kleinen Tests einen rekordverdächtigen Börsengang hinlegt. Die Kamera eines Bildschirms würde nahende Personen identifizieren und auf Basis früherer Daten Bilder erzeugen, die den stärksten Effekt auf ihr Gehirn haben, und damit werben, Erinnerungen mit einer durchschnittlichen Genauigkeit von 83 % pro Betrachtung einzuprägen.
    Es könnte ReMind Long-term auf den Markt bringen, das einen Eindruck ähnlich einem „Trauma“ erzeugt, um Langzeiterinnerungen für Werbung zu schaffen, sowie ReMind Short-term, das für zeitlich begrenzte Promotionen wie eine visuelle Version eines Ohrwurms funktioniert. Eine strahlende Zukunft, in der Werbefirmen Zehntausende davon bestellen und sie sofort in Supermärkten, Aufzügen, Tankstellen, Bordunterhaltungssystemen und öffentlichen Werbetafeln ausrollen.
  • Das bewegt sich immer mehr in Richtung Langford's Basilisk.
• Von all meinen geheimen Forschungsideen gehört diese zu den gefährlichsten und moralisch verwerflichsten. Wenn künftige Generationen fragen, warum für Informatikforschung IRB-Prüfungen verpflichtend wurden, könnte genau diese Art Forschung die Antwort sein.
  Es gibt Forschende, die nicht merken, in welchem Moment sie zu Fritz Haber werden.
  • Technologie hat insgesamt unsere Freiheit immer weiter verringert.
• Wird hier tatsächlich versucht, Snow Crash zu erschaffen? Erläuterung dazu
• Tatsächlich erledigen Social-Media-Feed-Algorithmen das bereits im großen Maßstab, dafür braucht es nicht einmal generierte Inhalte. Im Meer nutzergenerierter Inhalte gibt es schon jetzt reichlich Material, das maximale Aktivierungsniveaus erreicht.
  • Der Plan besteht darin, die Content-Creator aus dem Prozess herauszunehmen, die Gewinnbeteiligung zu senken und den Profit zu steigern.
  • Engagement zu optimieren und die Aktivierung eines bestimmten Hirnareals bei einer bestimmten Person zu optimieren, sind schon kategorial völlig verschiedene Ziele.
• Der Prozess, Wege zu finden, menschliche Aufmerksamkeit zu fesseln, ist an sich nichts Neues. Schon Comics der 1950er ließen das Gehirn mit niedlichen Tieren, kurzen schnellen Schnitten und eingängiger Musik „still sitzen und zuschauen“.
  Fokusgruppen in der Werbung entwickelten sich zu A/B-Tests, die offengelegte Vorlieben suchen, und die Forschung zu Fett, Salz und Zucker brachte Fast Food hervor, das fast suchterzeugend ist. Diese Technologie ist nur der nächste logische Schritt.
  • Auch Bücher sind darauf ausgelegt, Leser hineinzuziehen, und früher wurde an Büchern dieselbe Kritik geübt, die heute auf Bildschirme zielt. Wichtiger als die Technologie ist aus meiner Sicht, die moral panic zu verstehen, in die Menschen von selbst geraten.