Interview mit dem anonymen Autor Gwern, der mit 12.000 US-Dollar im Jahr lebte und den Kurs der KI vorhersah
(dwarkeshpatel.com)- Der anonyme Internetforscher und Autor Gwern Branwen wird als jemand vorgestellt, der die um 2020 von vielen KI-Kommentatoren übersehene Entwicklung des LLM-Scaling früh aufgegriffen hat
- Anonymität diene nicht nur dazu, Vergeltung zu vermeiden, sondern schaffe auch überhaupt erst die Chance, gelesen zu werden, weil Leser den Autor nicht sofort auf eine bestimmte Identität oder Nische festlegen und abtun können
- Unternehmensautomatisierung entstehe eher durch starken Bottom-up-Druck von unteren Tätigkeiten nach oben als durch eine Ersetzung vom CEO abwärts; realistischer sei eine Struktur, in der menschliche Führungskräfte die langfristigen Entscheidungen einer KI-Organisation übernehmen
- Gwern versteht Intelligenz als Suche über Turingmaschinen und betont anhand von GPT-1, GPT-2, GPT-3, dem Baidu-Paper zu Scaling Laws von 2017, AlphaZero und BigGAN die Macht von Compute, Daten sowie Trial and Error
- Unter der Annahme, dass AGI in wenigen Jahren kommt, wird es wichtiger, statt alle Projekte selbst abzuschließen, Dinge wie Präferenzen, Wünsche, Bewertungen und Urteile festzuhalten, die KI nicht stellvertretend festlegen kann, und sie als Material für künftige Umsetzung zu hinterlassen
Anonymität, Avatar, automatisierte Organisationen
- Das Interview wurde zwar als persönliches Video aufgezeichnet, zum Schutz von Gwerns Anonymität wurde jedoch ein Avatar verwendet
- Gesicht und Stimme im Video sind nicht echt; nur die Worte stammen von Gwern
- Ein unterschätzter Vorteil von Anonymität besteht darin, dass es Leserinnen und Lesern schwerer fällt, den Autor in eine bestimmte Identität oder Nische einzuordnen und ihn vorab zu ignorieren
- Zwar hilft sie auch, Vergeltung zu vermeiden, doch Gwern gewichtet stärker, dass man nicht aufgrund des Kontexts sofort ausgeschlossen wird, sondern zumindest die Chance bekommt, gelesen zu werden
- Auch dass ihm kein Heroin nach Hause geschickt wurde oder er nicht Opfer eines SWAT-Notrufs wurde, sieht er als Vorteil
- Bei Unternehmensautomatisierung hält er Bottom-up-Druck von Arbeitern und unteren Tätigkeiten für stärker als eine Top-down-Ersetzung, die beim CEO beginnt
- In bestehenden Organisationen sei es leichter akzeptierbar, zuerst untere Rollen zu ersetzen und sich schrittweise nach oben vorzuarbeiten
- Am Ende stellt er sich eine Form vor, in der menschliche Führungskräfte ein Unternehmen beaufsichtigen, das aus KIs besteht
- Aus Sicht des Reinforcement Learning könnten Menschen KIs bei langfristiger Vision, neuen langfristigen Strategien und dem Erkennen von Chancen überlegen sein
- Möglich sei eine Struktur, in der ein menschlicher CEO die Vision vorgibt, die KI-Organisation Vorschläge und Ausführung übernimmt und der menschliche CEO daraus auswählt
- Solche menschlich geführten Unternehmen könnten seiner Ansicht nach langfristig bessere Entscheidungen treffen als Unternehmen, die vollständig nur aus KI bestehen
- Gwern sieht auch die menschliche Rolle, die in seiner eigenen Arbeit zuletzt übrig bleibt, eher als Auswahl im Stil von Steve Jobs
- Er stellt sich vor, dass KI-Minions Essays bringen und er auswählt, welcher Text besser ist und in welche Richtung man ihn weiter vorantreiben sollte
KI-Organisationen und Auswahleinheiten
- In einem Unternehmen aus KIs kann die Auswahleinheit größer sein als ein einzelnes Modell, etwa ein „Paket von Geistern“ oder eine Abteilung
- Wenn sich einzelne Modelle perfekt kopieren lassen, verschiebt sich die Auswahleinheit weiter nach oben
- Einzelne Minds lassen sich auf differenzierbare Weise trainieren, doch die Interaktionen zwischen Minds sind schwer direkt zu trainieren
- Es kann Modellgruppen geben, die insgesamt gut zusammenpassen, auch wenn sie sich nicht auf bestimmte Interaktionselemente reduzieren lassen
- Als Beispiel nennt er eine Department Unit mit programmer, manager type, secretary type, financial type, legal type usw.
- Wenn eine neue Unit benötigt wird, ist eine Art Evolution möglich: Man kopiert das Basispaket, gibt jeder Komponente zufällige Mutationen und behält die leistungsstarken Pakete
Genealogie der Singularity und Theorie der Intelligenz
- Auf die Frage, ab wann die Singularity vorhersehbar war, meint Gwern, man müsse mindestens bis zu Samuel Butlers Erewhon von 1872 oder seinem Essay „Darwin among the Machines“ von 1863 zurückgehen
- Butler schrieb 1863 ausdrücklich die Vision nieder, dass maschinelles Leben sich zunehmend weiterentwickelt, Autonomie gewinnt und schließlich zur Bedrohung für die Menschheit wird
- Über Maschinen zog Butler den Schluss: „war to the death should be instantly proclaimed against them“
- Gwern sagt, er sei sich bei klareren Singularity-Szenarien vor 1863 nicht sicher
- Isaac Newton habe die Erfindungen und den Fortschritt seiner Zeit nicht als reale technologische Beschleunigung erklärt, sondern als Phänomen, bei dem Zivilisationen alle paar Tausend Jahre zerstört werden und früheres Wissen wiederentdecken
- Dwarkesh sieht das nicht als Fermi-Paradoxon zu außerirdischen Zivilisationen im Raum, sondern als eine Art Fermi-Paradoxon zu unterschiedlichen Zivilisationen in der Zeit
- Gwern sagt, auch Lucretius habe vor etwa 1.700 Jahren angesichts römischer Innovation und Gelehrsamkeit eine ähnliche Logik formuliert
- Gwerns Theorie der Intelligenz lautet: „Suche über Turingmaschinen“
- Alles, was geschieht, lässt sich durch Turingmaschinen unterschiedlicher Länge beschreiben
- Lernen oder Scaling ist der Prozess, mehr und längere Turingmaschinen zu durchsuchen und auf bestimmte Fälle anzuwenden
- Es gebe keinen allgemeinen Master Algorithm und kein besonderes Intelligence Fluid; vielmehr würden enorm viele Spezialfälle gelernt und im Gehirn encodeiert
- Auch Unterschiede in menschlicher Intelligenz versteht er als Unterschied darin, mit mehr Compute länger nach mehr Turingmaschinen zu suchen
- Er sagt, es werde wohl keinen Bereich im Gehirn geben, der wie eine IQ gland für Fluid Intelligence zuständig ist
- Das Gehirn lerne viele einzelne Spezialprobleme, die anschließend rekombiniert würden und dann wie Fluid Intelligence wirken
- Ein großes Neural-Network-Modell lasse sich als riesiges Ensemble kleiner Modelle betrachten, die auf viele kleine Probleme zugeschnitten sind
- Dass die Evolution allgemeiner Intelligenz auf menschlichem Niveau so lange gedauert hat, liege daran, dass bei vielen Lebewesen Mechanismen für bestimmte Probleme adaptiver sein können als General-Purpose Intelligence
- Kleine Turingmaschinen können bei ausreichender Evolution direkter von Genen encodeiert werden
- In statischen Nischen, in Nischen, in denen Intelligenz sehr teuer ist, oder bei Lebewesen mit kurzer Lebensdauer und zu wenig Lernzeit können mechanisms für spezifische Probleme besser sein als Lernen nach menschlichem Muster
Wie er früh zum Scaling-Ansatz kam
- Gwerns Scaling-Perspektive begann Mitte der 2000er mit der Lektüre von Moravec und Ray Kurzweil
- Beide vertraten laut ihm eine konnektionistische These: Genügend Compute könne zur Entdeckung einer zum menschlichen Gehirn passenden Neural-Network-Architecture führen
- Gwern sah das damals eher als „magical thinking“ und war skeptisch, weil er Algorithmen für komplex hielt und glaubte, es brauche tiefe Einsichten oder schwierige Mathematik
- Mit seinem Interesse an LessWrong, Transhumanismus und AI Risk verfolgte er die Texte von Shane Legg und stieß auf Leggs Prognosen
- Laut Gwern sagte Legg voraus, dass bei fortgesetztem Moore’s Law um 2019 das erste Generalist System, um 2025 humanish agents mit Generalist Capabilities und um 2030 AGI entstehen könnten
- Nach DanNet und AlexNet sah Gwern beeindruckende Erfolge des Connectionism
- Er begann darauf zu achten, ob es sich um isolierte Erfolge handelte oder um die von Kurzweil, Moravec und Legg beschriebene Entwicklung, dass mit GPUs bessere Algorithmen auftauchen
- Beim fortlaufenden Lesen der Deep-Learning-Literatur sah er, wie Dataset Size, Model Size und GPU-Nutzung wuchsen und Neural Networks von engen Use Cases auf immer breitere Anwendungsbereiche übergingen
- Als er auf arXiv beobachtete, wie CNNs täglich auf andere Probleme angewendet wurden, verschob sich seine Sicht in Richtung: „Intelligenz könnte darin bestehen, viel Compute, Data und Parameters anzuwenden“
- Die GPT-Reihe war ein wichtiger Anlass, seine Einschätzung zu ändern
- Der unsupervised sentiment neuron von GPT-1 war erstaunlich, weil er selbstständig lernte
- Prompting und Summarization bei GPT-2 vermittelten stark das Gefühl, in einer Scaling-Welt zu leben
- GPT-3 sah er als groß angelegtes Scale-up von GPT-2 und als wichtigen Test für die Plausibilität von Scaling, nicht nur als enge Task wie Go
- Beim Blick auf die Few-Shot-Learning-Chart am Anfang des GPT-3-Papers kam er zu dem Urteil: „we are living in the scaling world“
- Dass um 2020 viele AI-Kommentatoren LLMs, GPT-3 und Scaling Laws übersahen, erklärt er mit zwei Gründen
- Sie hatten frühere Scaling-Ergebnisse nicht ausreichend verfolgt und konnten wichtige Ergebnisse retrospektiv nicht richtig bewerten
- Sie teilten die Überzeugung, dass Algorithmen wichtiger seien als Compute
- Gwern hält Compute für vorrangig, weil er Trial and Error und Serendipity ermöglicht
- Kleine Unterschiede bei Hyperparameters oder Architecture Choices können die Ergebnisse stark verändern; wenn man aber nur wenige Versuche machen kann, hält man etwas leicht für nicht funktionierend und gibt auf
- Mit viel Compute kann man weiterprobieren, bis man eine gut funktionierende Lösung findet, und sie anschließend durch Vereinfachung, Verbesserung und Ursachenanalyse zu einer robust solution machen
- In der älteren Deep-Learning-Literatur sieht er Beispiele dafür, dass moderne Ideen bereits vorhanden waren, wegen fehlendem Compute aber praktisch schwer nutzbar waren
- ResNet sei 1988 veröffentlicht worden und habe funktioniert, sei aber wegen des viel zu kleinen Maßstabs praktisch nutzlos gewesen und in Vergessenheit geraten; erst 2015 sei es als Revolution des Deep Learning wieder aufgetaucht
- Auch BigGANs Scaling auf 300 million images sieht er als Ergebnis, das die Leute nicht ausreichend wahrgenommen haben
Projekte und Schreiben im AGI-Zeitalter
- Gwerns AGI-Timeline lag zwischen 2005 und 2010 noch sehr weit in der Zukunft, etwa nach 2050
- Nach AlexNet und DanNet habe sich die Timeline so verkürzt, als rücke sie jedes Jahr um zwei Jahre näher
- Deep Learning habe immer neue Hürden überwunden; alternative Paradigms hätten sich nicht gut geschlagen, während dieses Paradigma sehr gut funktioniert habe
- Nach AlphaGo hätten einige Leute ihre Einschätzung wegen des AI-Hypes übermäßig angepasst
- Als große Reinforcement-Learning-Versuche nach Dota bei schwierigen Problemen außerhalb eines simulated game universe nicht gut funktionierten, dachte auch Gwern, er sei zu weit vorgeprescht
- Nach dem Auftauchen von GPT verwarf er diese Einschätzung und sieht RL als cherry auf dem cake, der ein generative model ist
- Wenn man ernsthaft davon ausgeht, dass AGI in wenigen Jahren kommt, muss man nicht jedes Projekt selbst umsetzen
- Dinge, die man tun möchte oder genießt, macht man jetzt, auch wenn AI sie in drei Jahren erledigen kann
- Bei manchen Projekten kann man klar skizzieren, was man will, warum es gut ist und wie es gehen soll, damit eine bessere AGI sie ausführt
- Was Gwern künftig stärker festhalten will, sind preferences, desires, evaluations, judgments
- AI kann „nicht an deiner Stelle Eis essen“ und auch nicht stellvertretend entscheiden, welche Eissorte du magst
- Seine Kriterien zur Beurteilung von Arbeit sind drei
- Ob es etwas ist, das er tut, weil er es unabhängig von künftiger AI genießt
- Ob er nur den Teil erledigt, der von Menschen getan werden muss, während AGI den Rest später übernehmen kann
- Ob er etwas aufschreibt, das heute nicht dokumentiert ist, um seinem künftigen AI-Ich zu helfen
- Arbeiten, die nicht in diese drei Kategorien fallen, will er grundsätzlich vermeiden
- Zum Zeitpunkt, an dem AI Essays in Gwern-Qualität schreiben kann, sagt er, dass es Ideen gebe, die dies durch Kombination des gesamten Corpus auch ohne AGI möglich machen könnten
- Viele potenzielle Essay-Ideen seien im Corpus bereits weitgehend ausgearbeitet, sodass es möglicherweise keiner Superintelligenz bedürfe, sie herauszuziehen
- Als Maßstab für allgemeine AGI-Planung wirke die Anthropic-Timeline von 2028 wie ein guter Ausgangspunkt
- Schreiben betrachtet er als Handlung, die den künftigen Shoggoth beeinflusst
- Die Tokens, die ein LLM vorhersagen muss, seien eine der wenigen Währungen, die AI wahrnimmt; Schreiben komme dem Abstimmen über die Zukunft nahe
- Werte, Vorlieben und Wünsche, die nicht in Online-Texten ausgedrückt sind, existieren für AI praktisch nicht
- Nach dem Motto „If it wasn’t written down, it wasn’t written down“ lassen sich nicht dokumentierte autobiografische Informationen oder Gefühle zu einem bestimmten Zeitpunkt später nur schwer aus Spuren rekonstruieren
Rabbit Holes, Hörbehinderung, Wikipedia
- Gwern bezeichnet das, was er im Leben maximieren möchte, als Rabbit Holes
- Am meisten freut er sich darauf, tief in neue Ideen oder Bereiche einzutauchen, von denen er zuvor überhaupt nichts wusste
- Er erzählt, dass ihn ein Beispiel von Katzen, die nicht auf Catnip reagieren, dazu brachte zu recherchieren, warum manche Katzen gegen Catnip immun sind und welche alternativen Catnip-Wirkstoffe es gibt
- Gleichzeitig sieht er die Obergrenze für Rabbit Holes, die man wirklich tiefgehend verfolgen kann, bei 2 bis 3
- Alles darüber hinaus sei eher ein vorübergehendes Interesse, statt etwas, in das man echte Anstrengung investiert
- Ein Rabbit Hole müsse zwanghaft sein; wenn es einen nicht immer weiter hineinzieht, sei es kein echtes Rabbit Hole
- Als Rabbit Hole, in dem er am längsten versank, das aber nicht zufriedenstellend weiterging, nennt er seine frühen Arbeiten zu Neon Genesis Evangelion
- Er las fast alles verfügbare Material auf Englisch und versuchte zu verstehen, wie die Entwicklung ablief und warum das Werk so wurde, wie es ist, bekam damals aber keine klare Antwort und brannte aus
- Jahre später verstand er es zufällig, sagt aber, dass nicht mehr genug Interesse übrig sei, um es neu zu schreiben oder abzuschließen
- Gwern hatte von Geburt an eine Hörbehinderung und besuchte vor dem Kindergarten eine Förderschule für hörbehinderte und andere behinderte Kinder
- In der Schule musste er zu jeder Stunde ein mit der Lehrkraft verbundenes Hörgerät und eine große braune Box mitbringen, was ihn demütigte, weil er sich dadurch von den anderen Kindern abgehoben fühlte
- Die damaligen Hörgeräte waren nicht sehr leistungsfähig, sodass er Gespräche immer mit Verzögerung verstand; das schadete seiner Sozialisation stark
- Weil Lesen eine Tätigkeit war, die er trotz Hörbehinderung unbeeinträchtigt ausüben konnte, habe es dazu beigetragen, dass er zum Bookworm wurde
- Bevor er mit dem Bloggen begann, editierte er Wikipedia
- Wikipedia habe für ihn die Rolle von gwern.net vor gwern.net gespielt; was er heute auf seiner eigenen Website macht, hätte er damals in der English Wikipedia getan
- Auf den Artikel zu Fujiwara no Teika ist er bis heute stolz
- Vieles, was er über das Schreiben gelernt hat, stamme eher aus der Wikipedia-Editierarbeit als aus Schule oder Universität
- Auf der heutigen English Wikipedia sei ein Rabbit-Hole-basiertes Training wie früher schwer möglich
- Im Vergleich zu 2004 seien die Artikel deutlich stärker ausgefüllt, und die Editier-Community stehe detaillierten, zwanghaft recherchierten Beiträgen feindseliger gegenüber
- Solche Beiträge könnten gelöscht oder wegen Original Research bzw. nicht genehmigter Quellen abgelehnt werden
- Sein erster großer Erfolg war der Artikel über Silk Road
- Als Adrian Chen bei Gawker einen Artikel darüber schrieb, auf Silk Road LSD zu kaufen, sah Gwern, dass Bitcoin realistisch genug war, um im Internet tatsächlich Drogen kaufen zu können, und änderte seine Haltung
- Gwern nutzte Silk Road selbst und dokumentierte den Bestellprozess mit Screenshots
- Nach der Veröffentlichung erreichte der Artikel Hunderttausende Aufrufe und sei im Google-Analytics-Chart als senkrechter Spike zu sehen gewesen
Arbeitsweise, Schreibmotivation, Site-Design
- Gwern glaubt, dass Menschen seine Intelligenz überschätzen
- Weil er sich an vieles erinnert und über lange Zeit viel geschrieben hat, wirke er wie jemand, der alles aus dem Stand leisten könne
- In echten Gesprächen zitiere er oft Dinge, die er bereits geschrieben oder über die er lange nachgedacht habe
- Im Vergleich zu Menschen, die sich spontan schnell updaten, sei er nicht besonders klug, doch am Ende zähle der Output
- Sein Arbeitsprozess ähnelt eher dem Ansammeln kleiner Notizen über lange Zeit als einem genialen Einzelwurf
- Wenn sich über 10 Jahre Notizen wie „das ist seltsam“ oder „das ist ein weiteres Beispiel dieses Musters“ ansammeln, könne das Ergebnis wie Magie wirken
- Er mag Penn & Tellers Satz, dass „Magie darin besteht, mehr Aufwand zu betreiben, als ein rationaler Mensch erwarten würde“
- Essays wie „Evolution as Backstop for RL“ entstehen als Synthese aus wiederholt beobachteten gleichen Mustern
- Im Zentrum steht eine Struktur, in der ein dummer, ineffizienter Lernmodus etwas Klügeres hervorbringt, die ursprüngliche Methode aber nicht vollständig beseitigt werden kann
- Beispiele wie Unternehmen, Meta Reinforcement Learning, Neural Networks und Schmerz verknüpfen sich und ergeben die heutige Struktur
- Manche Essays entstehen aus einem Eureka-Moment, doch davor stehen viele Notizen, von denen lange unklar ist, dass sie zusammenhängen
- Wenn eines Tages plötzlich der Moment kommt, in dem alles verbunden ist, schreibt er einen riesigen Essay in einem Zug herunter
- „The Melancholy of Subculture Society“ ist ein Beispiel für einen solchen Eureka-Essay
- Sein Tagesablauf beginnt damit, die Website-Arbeit vom Vortag aufzuräumen
- Er kümmert sich um Formatting, Rechtschreibfehler und Layoutprobleme und fügt zusätzliche Gedanken oder wichtige Kommentare ein
- Danach liest er viel über Twitter oder RSS-Feeds, und wenn Kommentare oder Fragen seine Aufmerksamkeit wecken, schreibt er
- Abends versucht er, an echten Projekten oder Beiträgen zu arbeiten, danach geht er ins Gym
- Er geht ins Gym, weil es das genaue Gegenteil davon ist, vor dem Computer zu sitzen und zu lesen
- Nicht weil er Weightlifting besonders liebt, sondern weil man möglichst andere Dinge tun müsse, um Burnout zu vermeiden
- Online-Debatten sind für Gwern eine starke Schreibmotivation
- Um zu schreiben, Gedanken zu kristallisieren und sie zu „ernten“, brauche er Motivation
- Wut darüber, dass Menschen im Internet falschliegen, und der Antrieb zur Debatte seien reichlich vorhanden
- Spite solle man jedoch nur so lange nutzen, wie es nötig ist, und danach loslassen; halte man daran fest, vergifte man sich selbst
- Viel Zeit in CSS und Design der Website zu stecken, lasse sich aus Sicht des gesellschaftlichen Nutzens nicht vollständig verteidigen
- Es sei ein Hobby, das er mache, weil es ihm gefällt, und eine schöne Website mache es erträglicher, die eigenen Texte immer wieder zu lesen
- Site-Maintenance könne für den Autor eine Art Spaced Repetition sein
Lebensunterhalt, Patreon, Leben mit weniger als 12.000 US-Dollar im Jahr
- Das Schreiben in Vollzeit hält er durch Patreon und Ersparnisse aufrecht
- Die Patreon-Einnahmen liegen bei etwa 900 bis 1.000 US-Dollar im Monat
- Durch frühe Bitcoin-Bestände hatte er Glück und verdiente genug, um lange davon leben zu können, aber dauerhaft reicht es nicht
- Er versucht, seine Ausgaben so weit wie möglich zu senken, um seine Writing Runway zu verlängern
- Das Belohnungsdesign von Patreon und Substack fühlt sich für Gwern unangenehm an
- Es sei schwierig, gute Gegenleistungen zu schaffen, ohne eine Paywall einzurichten
- Für Menschen wie Scott Alexander, die regelmäßige Newsletter-artige Updates mögen, passten Patreon und Substack gut, er selbst möge diesen Ansatz aber nicht
- Die Lebensbedingungen mit weniger als 12.000 US-Dollar im Jahr sind sehr asketisch
- Er lebt abgelegen, hat kaum Ausgaben für Reisen, Restaurantbesuche oder Krankenversicherung, kocht selbst und nutzt ein kostenloses Fitnessstudio
- Als Beispiel nennt er, dass er, als der Boden seines Schlafzimmers durch Feuchtigkeit verrottete und einbrach, ihn mit Altholz und Balken abstützte und in Kauf nahm, dass Insekten hereinkamen
- Sein eigenes Leben beschreibt er als das eines „Graduiertenstudenten, der bessere Ramen isst“
- Dieser Lebensstil sei weder ideal noch ein Modell, dem andere Autoren einfach folgen könnten
- Dass er bisher sehr gesund war und keine großen Notfälle hatte, sieht er ebenfalls als Glück
- Es sei ein Sonderfall, bei dem Bitcoin, die Zufriedenheit mit einem mönchischen Leben und Gesundheit zusammenpassten
- Wer Autor oder Blogger werden möchte, müsse jeweils ein anderes Lebensunterhaltsmodell finden, etwa Substack oder einen JavaScript-Job bei einer Tech-Firma und Schreiben nebenbei
- Der Hauptgrund, warum er nicht nach San Francisco zieht, ist Geld
- Er wolle nicht darüber nachdenken, wie viele Monate Writing Runway er für jeden Monat Leben in San Francisco aufgeben müsste
- Wenn ihm jemand 50.000 bis 100.000 US-Dollar im Jahr geben würde, damit er nach SF zieht und weiter wie bisher in Vollzeit schreibt, würde er sofort annehmen
Vielfalt von KI-Modellen, GLP-Medikamente, Umweltfaktoren, Psychedelika
- Gwern ist der Ansicht, dass KI-Modelle – abgesehen von „Fähigkeit“ – kognitiv bereits deutlich vielfältiger sind als Menschen
- Er behauptet, unterschiedliche LLMs dächten schon anhand ihrer Samples auf distinct unterschiedliche Weise
- LLMs seien anders als GANs, GANs wiederum anders als VAEs; insbesondere bei kleineren oder leistungsschwächeren Modellen unterschieden sich latent space, artifacts und Fehler stark
- Zu Fällen, in denen sich die Ausgaben verschiedener Modelle in der Chatbot Arena schwer unterscheiden lassen, meint Gwern, das sei eine auf neuere LLMs beschränkte und heavily tuned Situation
- In einem Kontext, in dem alle die Vorgehensweisen der anderen nachahmen und mit nahezu denselben Daten trainiert werden, seien sie eher wie „eineiige Zwillinge“
- Auf deep learning insgesamt betrachtet sei die Bandbreite von minds und Denkweisen sehr groß
- Den Unterschied zwischen GANs und diffusion models sieht er daran, wie sie Hände darstellen
- Wegen des adversarial loss hätten GANs einen Anreiz, etwas zu verbergen; das äußere sich etwa darin, dass Hände aus dem Bild herausgeschoben würden oder das Modell gar nicht über Hände nachdenken könne
- Diffusion models dächten zwar über Hände nach, machten aber den Fehler, sie riesig und monströs darzustellen
- Als Entwicklung, deren Implikationen derzeit noch nicht ausreichend verstanden werden, nennt er GLP-basierte Medikamente zur Gewichtsreduktion
- Ihre Wirkung auf Gesundheit, Sucht und eine Vielzahl von Verhaltensweisen sei erstaunlich
- Die Ergebnisse seien noch preliminary, sähen aber nach echten Effekten aus
- Sie könnten etwas Wichtiges über menschliche Willenskraft und dysfunctionality verraten
- Ob GLP drugs das Algernon argument widerlegen, hält er noch für offen
- Man verstehe noch nicht, was GLP tatsächlich tue
- Die Vorteile könnten die fitness im Hinblick auf fertility senken oder auf eine Weise auf den Körper wirken, die genetisch sehr schwer zu replizieren sei
- Die Adipositas-Krise sei ein jüngeres Phänomen, das erst um die 1990er Jahre klar erkennbar wurde; auf einer Skala von 20 bis 30 Jahren lasse sich das Algernon argument daher nur schwer anwenden
- Er hält es für nahezu 100 % wahrscheinlich, dass es in der modernen Umwelt Faktoren gibt, die ähnlich große Auswirkungen haben wie Bleivergiftung im antiken Rom
- Chemiker entwickelten ständig neue Stoffe, es gebe auch Faktoren rund um das microbiome, und plastics seien ein naheliegender Kandidat, müssten aber nicht zwingend die Ursache sein
- Er glaube nicht an eine bestimmte Ursache, hält aber für möglich, dass sich schädliche Einflüsse nach dem Muster „1 % here, 1 % here“ aufsummieren
- Betrachtet man Zeitreihen, sei intelligence insgesamt ziemlich stabil; der tatsächlich schädliche Faktor liege daher eher bei obesity als bei intelligence
- Gegenüber Bay-Area-Experimenten mit psychedelics ist er skeptisch
- Die Effekte von psychedelics könnten acute und permanent sein
- Nootropics hält er demgegenüber für vergleichsweise manageable und kontrollierbar
- Dinge wie LSD könnten die eigene Sicht auf LSD-Konsum oder den psychiatric state dauerhaft verändern
- Ein paar Anwendungen könnten gut sein, und er selbst habe davon profitiert; darüber hinaus müsse man aber ernsthaft prüfen, welchen Nutzen man habe und wie man sich verändere
Literatur, Fiction, offene Fragen
- Gwern sagt, ohne das Internet hätte er seine Interessen wohl verengt und kontinuierlich publiziert, um in der regulären Wissenschaft zu überleben, oder wäre wie Jorge Luis Borges in die Rolle eines Bibliothekars ausgewichen
- Er habe Borges’ Vorstellung, „sich das Paradies als Bibliothek vorzustellen“, stets zugestimmt, und er liebe Bibliotheken ebenfalls
- Er bedauert, heute nicht mehr viel Zeit in physischen Bibliotheken zu verbringen, weil er mittlerweile das meiste am Computer liest
- Borges ist für Gwern ein schriftstellerischer Held
- Über Dan Simmons’ Hyperion und The Fall of Hyperion, Kevin Kellys Out of Control und „The Library of Babel“ kam er dazu, Borges’ gesammelte Fiction- und Nonfiction-Werke wiederholt zu lesen
- Ihn überwältigte, dass man auf Grundlage enzyklopädischen Wissens kreative, unterhaltsame und provokante Kurzgeschichten und Essays schreiben kann; wenn er wie irgendein Autor sein könnte, wollte er Borges sein
- Als Literatur, die er zunächst nicht verstand und erst später begriff, nennt er Ted Chiangs „Story of Your Life“ und Gene Wolfes „Suzanne Delage“
- „Suzanne Delage“ interpretiert er als subtile Dracula-Neuerzählung, in der Dracula in ein Dorf eindringt, eine Frau raubt und den Erzähler im Stil von Bram Stoker einer Gehirnwäsche unterzieht, sodass er alles vergisst
- „Story of Your Life“ versteht er nicht als Geschichte über Zeitreisen oder Zukunftsvoraussicht, sondern über einen fremdartigen, aber gleichermaßen gültigen Geist, der alles als Teil einer bereits festgelegten Geschichte und eines vorbestimmten Endes sieht
- Dem Nutzen von Fiction steht er zynisch gegenüber
- Man könne ein Leben lang nur fiction lesen und außer viel Trivia über von Menschen Erfundenes auswendig zu kennen, keinerlei Nutzen daraus ziehen
- 99 % der SF, die er gelesen habe, seien völlig nutzlos gewesen; die wirklich einsichtsreichen Werke, die tatsächlich seine Perspektive veränderten, ließen sich auf etwa 20 Romane und Kurzgeschichten reduzieren
- Die Gemeinsamkeit dieser Spitzenwerke sei, dass sie nichtmenschliche Intelligenz ernsthaft behandeln
- Die Rolle, die er im Leben anderer Menschen einnehmen möchte, ähnelt der Rolle, in der die Figur „Gwern“ in LLMs wie Claude-3 als mentor oder old wizard erscheint
- Er sei eher eine Figur, die Einsicht in eine Situation bietet und einen call to adventure vermittelt: „Du kannst auch schreiben, etwas tun und nachdenken“
- Er möchte, dass Leser nicht nur Unterhaltung oder Informationen bekommen, sondern eine aspiration entwickeln, dass Webseiten und das Internet besser werden können
- In der Realität fürchtet er, für manche Menschen zu einer Art guru oder trickster devil werden zu können
- Wer ihn mag, könnte ihn als jemanden sehen, dessen gesamte Website wie gospel übernommen werden darf; das lehnt er ab
- Wer ihn nicht mag, könnte ihn übertrieben als covert, malicious, neo-Nazi, eugenicist, totalitarian, communist, anti-Chinese devil figure wahrnehmen
- Die open rabbit holes, auf die er bis 2050 Antworten möchte, sind große Fragen über Menschen und Zivilisation
- Warum schlafen und träumen wir?
- Warum altern Menschen?
- Warum gibt es sexuelle Fortpflanzung?
- Warum unterscheiden sich Menschen so stark voneinander und sogar von Tag zu Tag?
- Warum hat es so lange gedauert, bis Menschen eine technische Zivilisation entwickelten?
- Wo sind die Außerirdischen?
- Warum fand die industrielle Revolution nicht in China, sondern anderswo statt?
- Wie hätte man die deep learning revolution vorhersagen müssen?
- Warum ist das menschliche Gehirn im Vergleich zu artificial neural networks so oversized?
1 Kommentare
Hacker-News-Kommentare
Schreiben bedeutet, mit einer der wenigen Währungen, die Shoggoth akzeptiert, für die Zukunft zu stimmen: mit Tokens, die vorhergesagt werden müssen. Wer nicht schreibt, gibt die Zukunft oder die eigene Rolle darin auf; und selbst wenn man meint, es reiche, als guter Bürger zu leben, zu wählen, Müll aufzusammeln und zu recyceln, kümmert sich die Zukunft nicht darum.
KI-Prognosen scheinen kaum zu berücksichtigen, wie echte Menschen beurteilen würden, ob KI-generierte Medien menschliche Werke erfolgreich ersetzt haben – oder ob das überhaupt gelingen kann. Derzeit ist es eher ein Makel, wenn ein Projekt als KI-generiert bekannt ist; vor zwei Jahren wirkte ein KI-Bild im Blog-Header noch cool, heute lässt es einen eher wie jemanden aussehen, der den Trend verpasst hat.
Deshalb bin ich skeptisch gegenüber der Vorhersage, dass superintelligente KI alle menschlichen Schöpfungen, Essays, Texte, Videos usw. ersetzen wird. Nur weil es möglich ist, heißt das nicht, dass es tatsächlich passiert oder dass es die Leute interessiert. Viel wahrscheinlicher scheint mir, dass sich Verfahren zur Verifikation von Menschlichkeit etablieren, die Aufmerksamkeitsökonomie weiter auf echte Menschen konzentriert bleibt und ein Friedhof aus KI-Müll entsteht, mit dem niemand interagiert.
Das Argument, warum KI nicht die Kontrolle übernehmen wird, lautet: Wir organisieren uns um Symbole und Narrative und reagieren sehr empfindlich auf schwächer werdende oder minderwertige Meme, sodass KI sich jedes Mal neu als „nicht KI“ erfinden müsste. Nimmt man Musik als Analogie, können allerdings begrenzte Variationen über Jahrzehnte dominieren; und es gibt Präzedenzfälle, in denen selbst aus von Industriemaschinen produzierten Popstar-Abfällen dominante Meme entstanden sind, die die Psyche von Millionen Menschen ein Leben lang fesseln.
Heutige KI kann das gesamte Bedeutungssystem solcher Popstars nachahmen, und TV Tropes hat zwar alle Elemente des kulturellen Mülls katalogisiert, gegen den Menschen eigentlich immun sein sollten, doch Millionen leben weiterhin in den Figuren und Erzählungen, die sie aus Pop-Müll übernommen haben. So wie Musik, TV und Film heute die Ontologie der Menschen formen, wird es ganz sicher einen Long Tail geben, in dem KI-Müll Ontologien prägt; das kommt dem Hineingezogenwerden in eine KI-Simulation ziemlich nahe und könnte noch subtiler sein. Oder man schüttelt es einfach ab.
Die Menschheit setzt ihre Zukunft auf die Annahme, dass wir vor einem harten Takeoff auf schwer handhabbare informationstheoretische Grenzen stoßen werden, die bei Leistungssteigerungen abnehmende Erträge erzwingen. Doch die Behauptung, die derzeit bewährten Methoden befänden sich bereits weit oben auf irgendeiner S-Kurve, ist im Moment schwer zu glauben. KI-Modelle sind dieses Jahr dramatisch besser als letztes Jahr, letztes Jahr dramatisch besser als im Jahr davor, und in den nächsten Jahren werden sie sehr wahrscheinlich weiter besser werden.
Das allein reicht schon, um einen erheblichen Teil gesellschaftlicher und wirtschaftlicher Prozesse stark zu verändern – zum Guten wie zum Schlechten.
Zum Beispiel war Dall-E 2 bei seiner Veröffentlichung deutlich besser als heute; die aktuelle Version wurde so angepasst, dass sie nichts erzeugen kann, was den Arbeiten zeitgenössischer Künstler ähnelt, und auch der Rest wurde offenbar so verändert, dass er in aufdringlichen Orange-Blau-Tönen rendert. Sobald bessere Modelle erscheinen oder geleakt werden, wird man letztlich nicht mehr unterscheiden können, ob ein Bild KI-generiert ist oder nicht.
Vielleicht hätte man sogar mehr Stimmgewicht, wenn man Inhalte, die zur eigenen Meinung passen, mit generativer KI zuspammt – oder nach Kenia geht und dort schlecht bezahlte RLHF-Arbeit macht.
Ich finde es schwer zu glauben, dass Gwern so genügsam lebt, wie es in diesem Artikel dargestellt wird, und ich bin mir nicht einmal sicher, ob es wirklich er ist. Gwern hat eine Persona, die er zeigen möchte, und ich bin ziemlich sicher, dass der Eindruck von Genügsamkeit Teil davon ist.
Auf die Frage „Wer ist Gwern?“ würde ich sagen: Er ist der Typ, der in den Köpfen der Leute Samen pflanzt und den Rest der Geschichte jeden selbst erfinden lässt. Trotzdem mag ich viele seiner Texte, besonders die seltsamen, engen Themen, über die die meisten nicht einmal weiter nachdenken würden.
Dank Gwerns Essay zum Sunk-Cost-Fehlschluss habe ich mir am Ende doch kein Tattoo stechen lassen, bei dem ich meine Meinung geändert hatte. Ich war kurz davor, es nur deshalb machen zu lassen, weil ich eine Anzahlung geleistet hatte; aber eine Woche vor dem Termin las ich den Text und entschied: „Wenn Kinder und Tiere nicht auf Sunk Costs hereinfallen, sollte ich das auch nicht.“ Im wörtlichen Sinne hat Gwerns Text die Haut auf meinem Rücken gerettet.
Mir gefällt nicht, dass die Leute ihn jetzt vielleicht nur noch auf seine effektive Genügsamkeit festlegen, aber ich hoffe, dass er als Ausgleich reichlich Unterstützung bekommt – direkt oder über patreon.com/gwern.
Es war ein schwer anzuhörendes Interview, und zwar aus zwei subtil ähnlichen Gründen.
Die Stimme schien im Uncanny Valley festzustecken: realistisch, aber schwer anzuhören. Genauer gesagt war es kognitiv anstrengend, aus dieser Stimme Bedeutung zusammenzusetzen, und Klangfarbe und Bedeutung stützten einander nicht. Wenn Kinder mit solchen Stimmen in zufälligen Tonlagen aufwachsen, könnte sich das ändern.
Auch das Gespräch war übermäßig weitschweifig. Ein großer Wortschatz verdeckt oft dürftiges Schlussfolgern, und bei manchen Zuhörern kann die Mühe, die Wörter zu verstehen, das Erfassen der Beziehungen zwischen den Wörtern – also der Bedeutung – behindern, sodass es wie ein Durcheinander aus klug klingenden Wörtern wirkt. Wenn man Wortschatz, subtile Spöttelei und den Stil von „Ich weiß mehr, als ich sage“ abzieht, bleibt viel Geplauder übrig, das weder stimmt noch zu Ende gedacht ist. Solche wenig durchdachten Gespräche an sich sind in Ordnung, aber sie mit ungewohnten Wörtern und Stil zu verpacken, führt zu Missverständnissen und ist unfreundlich. Manche „klug wirkenden“ Stücke sind in Wahrheit einfach nur herausgeputzte dumme Stücke.
Ich kenne den aktuellen Stand von KI-generierten Stimmen nicht gut und könnte mich irren, aber es klang nicht fake, und die verlinkte Quelle sagt ebenfalls, es sei ein Mensch. Vielleicht fühlte es sich seltsam an, weil ein Mensch das Transkript eines Gesprächs so vorzulesen versuchte, dass es wie ein Gespräch klingt.
Es war eine Woche mit vielen interessanten Podcast-Interviews zum Thema KI.
Neben diesem gibt es die Lex-Fridman-Interviewreihe mit wichtigen Personen von Anthropic https://youtu.be/ugvHCXCOmm4 sowie ein langes Gespräch von Stephen Wolfram und Eliezer Yudkowsky zum Thema KI-Risiken https://youtu.be/xjH2B_sE_RQ.
Meine liebste Einsicht von Gwern ist Bitcoin is Worse is Better. Nachdem er eine lange Liste von Einwänden gegen Bitcoin zusammenfasst, fragt er, ob sie etwas gemeinsam haben, und die Antwort lautet: „Nein, das Problem von Bitcoin ist, dass es hässlich ist.“
Hässlich sei etwa, dass die Netzwerksicherheit ausschließlich darauf beruhe, mehr stumpfe Rechenleistung zu haben als der Gegner; hässlich sei, dass man zur Vermeidung von Double Spending heute und auch künftig mehr als die Hälfte der Verarbeitungskapazität brauche; hässlich sei der ständig wachsende Hash Tree; hässlich sei ein System, das ohne Proxys und Umwege offline nicht nutzbar ist; und hässlich sei, dass alle Transaktionen öffentlich nachverfolgt werden müssen. Selbst wenn die Geldmenge festgelegt werden müsse, fragt er, warum es ausgerechnet die willkürliche Grenze von 21 Millionen sein soll und warum nicht eine rundere Zahl oder eine Zweierpotenz. Auch Mining sei ein zu großes Geschenk an frühe Teilnehmer, und dass Bitcoin einfach verschwinden kann, wenn man es an eine falsche Adresse schickt, gehört ebenfalls zu seiner Kritik, dass das Ganze insgesamt hässlich und unelegant sei.
https://gwern.net/bitcoin-is-worse-is-better
Ich finde schwer verständlich, warum dieser hoffnungsvollen Vorstellung einer KI-Firma mit nur einer visionären Person an der Spitze so viel Glauben geschenkt wird.
Erstens sind tatsächlich visionäre CEOs eine extrem schmale Nische. Zweitens funktionieren die meisten Unternehmen nicht so, und die Tatsache, dass es Belegschaften gibt, ist genauso wichtig wie das, was ein Unternehmen produziert. Drittens: Wer soll in einer Gesellschaft, in der Lohnarbeit als häufigster wirtschaftlicher Antrieb plötzlich wegfällt, diese Services oder Produkte kaufen oder mieten?
Mich stört dieses systemische Denken sehr, das annimmt, man könne Systeme beliebig verändern und umformen, als dürften gesellschaftliche Implikationen völlig ignoriert werden. Um einen herum treten im Grunde selbstgewisse, glorifizierte Silo-Ingenieure als „Denker“ auf.
Der Link im zitierten Absatz zu Newton führt zu einem Artikel auf Gwerns Website, und dieser Artikel enthält mehrere interne und externe Links, aber ich konnte keinen Link finden, der Newtons Sicht auf „Fortschritt“ stützt.
Der Begriff „schneller Fortschritt“ ist relativ. Auch damals gab es schnellen Fortschritt, heute gibt es nur noch schnelleren Fortschritt; das ist kein Widerspruch. Ich stimme auch nicht der Aussage zu, dass uns Verbesserungen an Schiffen über mehrere Jahrhunderte hinweg, lange philosophische Gedichte auf Latein, Nadeln oder Druckmaschinen kaum beeindrucken würden. Wir sind durchaus beeindruckt.
Ich weiß nicht, wie dieses Interview so viele Empfehlungen bekommen konnte, und es fühlt sich nach Zeitverschwendung an.
Das große zweite Zitat unter https://gwern.net/newton#excerpts ist sehr auffällig mit https://www.newtonproject.ox.ac.uk/view/texts/normalized/THEM00173 verlinkt, und ich fand, dass es meine Behauptung, die aus Newtons eigenen Worten gegenüber seinem Schwiegersohn stammt, ausreichend rechtfertigt. Es läuft auch eng parallel zu anderen historischen Aussagen wie denen von Lucretius, und auch diese habe ich mit klaren Referenzen und konkreten Zitaten angegeben.
Ich verstehe nicht ganz, warum du sagst, das stütze es überhaupt nicht, und frage mich, ob du vielleicht eine andere Seite ansiehst.
Nicht so sehr, weil ich glaube, dass die fortgeschrittene menschliche Zivilisation in der aktuellen Zeitlinie sich selbst zerstört hat, sondern weil die Tatsache, dass in kurzer Zeit so viele lebensverändernde Durchbrüche aufgetaucht sind, wie ein unaufhaltsamer Marsch auf einen Great Filter wirkt.
Das wird ziemlich aggressiv klingen, und ist es tatsächlich ein bisschen, aber meine prägende Interaktion mit Gwern in diesem Forum war dieser Thread, in dem Gwern a^nb^n fälschlich für eine reguläre Sprache hielt und meinen Kommentar „not even wrong“ nannte.
https://news.ycombinator.com/item?id=21559620
Tut mir leid, das negativ zu formulieren, aber schon damals wurde Gwern von einem ziemlich großen Teil der Community als wichtiger Einfluss im AI-Bereich hochgehalten. Für mich war das ein gutes Beispiel dafür, dass die meisten AI-Influencer, die nicht Forschung betreiben, sondern in Social Media um Einfluss konkurrieren, eigentlich weder AI noch Informatik besonders gut verstehen, sondern nur gut darin sind, Wissen aus zweiter Hand zu ordnen und populär zu machen. Cheerleader für die Mainstream-Sicht auf AI zu sein, ist einfach. Schwierig ist es, eine eigene Richtung zu finden und ihr zu folgen.
Ein Transformer kann a^nb^n intellektuell leicht verstehen, aber nicht entscheiden, ob eine beliebig lange Zeichenkette ein Element dieser Sprache ist. Diese Einschränkung teilen allerdings auch Menschen. Wenn die Zeichenkette lang genug ist, verlieren auch Menschen irgendwann den Überblick beim Zählen.
Ich respektiere unterschiedliche Anstrengungen, aber Engineering bedeutet, Dinge zu bauen, die Menschen nutzen können, ohne alles wissen zu müssen. Das ist eine viel interessantere Aufgabe, als eine menschliche Google-Suchmaschine zu sein.
Die Avatar-Idee ist interessant, aber ich glaube, es wäre besser gewesen, einfach nur Stimme und Audio-Wellenform zu haben, statt einen sprechenden Avatar zu erstellen. Vielleicht ist das nur meine persönliche Vorliebe, kein mentales Bild von jemandem haben zu wollen, den ich nicht kenne. Es ist ähnlich wie ein Buch zu lesen, nachdem man die Verfilmung gesehen hat.
Dass ein Schauspieler die Stimme synchronisiert, ist normal, aber dass ein Schauspieler das Gesicht einer anonymen Person zeigt, ist eine ziemlich ungewöhnliche Entscheidung.
Vorteil der Anonymität: „Ich habe sehr davon profitiert, dass Leute mir kein Heroin nach Hause schicken oder mit Falschmeldungen bei der Polizei ein SWAT-Team auf mich hetzen konnten.“
Nachteil der Anonymität: kein kostenloses Heroin