- Im Silicon Valley verbreitet sich eine Kultur, die AGI (Artificial General Intelligence) als erreichbares Ziel betrachtet
- Innerhalb von OpenAI entstand auf Basis der „Pure Language Hypothesis“ der Glaube, dass die Skalierung von Sprachmodellen zu AGI führen könne
- Dieser Glaube dient als Rechtfertigung für den massiven Ausbau von Rechenzentren sowie für Probleme von Umweltzerstörung und Arbeitsausbeutung
- Die Expected-Value-Logik von AGI stützt sich auf unbegründete Wahrscheinlichkeiten und Wertschätzungen und ignoriert reale Umweltschäden und gesellschaftliche Kosten
- Statt an der AGI-Illusion festzuhalten, braucht es einen praktischen Engineering-Ansatz, der Probleme mit kleinen, zweckorientierten Modellen löst
AGI-Glaube und die Kultur von OpenAI
- Mit OpenAI verbundene Personen glauben tatsächlich, dass AGI den Wohlstand oder den Untergang der Menschheit herbeiführen kann
- Elon Musk beschrieb Demis Hassabis als „Bösewicht, der die Welt beherrschen will“, stellte OpenAI als „das Gute“ und DeepMind als „das Böse“ dar
- Ilya Sutskever sagte zu Mitarbeitenden „Fühlt die AGI (Feel the AGI)“ und führte ein Ritual durch, bei dem eine AGI symbolisierende Holzfigur verbrannt wurde
- Solche Handlungen zeigen, dass Science-Fiction-artige Vorstellungen im Silicon Valley zu einem Mainstream-Glauben geworden sind
„Pure Language Hypothesis“ und die Skalierung von LLMs
- Laut Karen Haos Buch Empire of AI basierte GPT-2 auf der „Pure Language Hypothesis“
- Weil Menschen in Sprache denken und kommunizieren, beruht sie auf der Annahme, dass AGI allein mit Sprachdaten möglich sei
- Demgegenüber behauptet die „Grounding Hypothesis“, dass AGI die Welt wahrnehmen müsse
- Die erfolgreiche Skalierung von GPT zu GPT-2 stärkte innerhalb von OpenAI den Glauben, dass mehr Daten, mehr Modellparameter und mehr Rechenressourcen ausreichen könnten, um AGI zu erreichen
Skalierungswettlauf sowie Umwelt- und Arbeitsprobleme
- Der AGI-Glaube und die Erfolge von LLMs rechtfertigen den Bau großer Rechenzentren
- Einige Anlagen verbrauchen hunderte Liter Wasser pro Sekunde und betreiben wegen Stromknappheit umweltschädliche Gasgeneratoren
- Dadurch entstehen ein Stromverbrauch auf dem Niveau ganzer Städte und steigende CO₂-Emissionen
- Für sichere Ausgaben von ChatGPT erleben Arbeitskräfte, die Daten zensieren und bereinigen, Ausbeutung und psychische Traumata
- Mit wachsendem Datenbedarf wird das gesamte Internet unterschiedslos eingesammelt, und die Ergebnisse werden mit RLHF (Reinforcement Learning from Human Feedback) gesteuert
Das Problem der Expected-Value-Logik
- Als Rechtfertigung für die AGI-Entwicklung wird häufig der Expected Value angeführt
- Die Logik lautet: „Selbst wenn es nur eine Wahrscheinlichkeit von 0,001 % für einen enormen Wert gibt, ist der EV immer noch sehr groß“
- Solche Berechnungen sind jedoch problematisch, weil Wahrscheinlichkeiten und Werte willkürlich und nicht überprüfbar sind
- Demgegenüber existieren Umweltzerstörung und gesellschaftliche Kosten als sichere negative Werte und gegenwärtige Schäden
Hin zu echter Ingenieursarbeit
- Technikerinnen und Techniker sollten Probleme wirksam, effizient und ohne Schaden lösen
- Der Ansatz, LLMs als AGI zu behandeln, scheitert an allen drei Kriterien
- Es entstehen übermäßige Rechenverschwendung, Arbeitsausbeutung und Umweltschäden
- Statt an der AGI-Illusion festzuhalten, sollten LLMs und generative Modelle als Werkzeuge zur Lösung konkreter Probleme bewertet werden
- Einsatz von kleinen, zweckorientierten generativen Modellen oder nicht-generativen (diskriminativen) Modellen
- Erforderlich sind Kosten-Nutzen-Analysen und technische Abwägungen für praktische Ingenieursarbeit
3 Kommentare
Hacker-News-Kommentar
Mein Rat an AI-Skeptiker: Die Debatte über den Wasserverbrauch von Rechenzentren sollte man lieber meiden
Formulierungen wie „Millionen Liter pro Jahr“ wirken ohne Kontext beängstigend, sind im Vergleich zu Landwirtschaft oder Golfplätzen aber vernachlässigbar
Diskussionen über Energieverbrauch oder CO₂-Emissionen sind in Ordnung, aber wenn man nur den Wasserverbrauch hervorhebt, leidet die Glaubwürdigkeit des gesamten Arguments
Allerdings habe ich später erfahren, dass Rechenzentren oft Trinkwasser verwenden, das sich nicht für die Landwirtschaft nutzen lässt
Trotzdem halte ich es weiterhin für ein Anti-Pattern, Zahlen wie „Millionen Gallonen“ ohne Kontext zu nennen
Das wirkt eher wie Identitätspolitik als wie eine technische Debatte
Auf HN sollte man politische Haltungen beiseitelassen und auf technischer Grundlage diskutieren
Vermutlich ist diese Haltung eine Gegenreaktion auf übertriebene AI-PR
argumentierte er sogar, dass bei großem Bedarf die lokale Wasserinfrastruktur ausgebaut werden könnte und dadurch der Preis für Trinkwasser sinken könnte
Laut seiner ergänzenden Stellungnahme kehrt die Kritik, „AI verbrauche nur kostbares Wasser“, die Lage eher um
In einer chilenischen Stadt gab es einen Fall, in dem ein Google-Rechenzentrum die lokale Dürre verschärfte, und
in einer anderen Region soll die Lage so ernst gewesen sein, dass Meerwasser dem Trinkwasser beigemischt wurde
Wenn Wasser in einer Größenordnung verbraucht wird, die dem Verbrauch einer ganzen Stadt entspricht, ist das meiner Ansicht nach eindeutig problematisch
Sowohl Golfplätze als auch Rechenzentren sollten für ihre Externalitäten zahlen, und
wenn sie in trockenen Regionen unwirtschaftlich sind, ist das aus meiner Sicht besser so
Wenn Wasser in der Landwirtschaft genutzt werden kann, kann es auch zur Kühlung verwendet werden
Auch das Thema Energieverbrauch ist teils übertrieben — letztlich wird günstige erneuerbare Energie wettbewerbsfähig sein
Ich denke, die Grenzen von LLMs sind ein Hardwareproblem
Die Neuronen im menschlichen Gehirn verarbeiten gleichzeitig Tausende Ein- und Ausgänge, während LLM-Neuronen nur einen einzelnen Ein- und Ausgang haben
Das menschliche Gehirn arbeitet mit ungefähr 20 W, während LLMs mehrere MW benötigen
Mit GPU oder TPU wird man AGI kaum erreichen; dafür braucht es ein völlig neues Hardware-Paradigma
Es geht also nicht einfach nur um zu wenig Rechenleistung
In einer Umgebung, die nur auf intellektuelle Tätigkeit ausgerichtet ist, braucht man womöglich gar nicht so viele Neuronen
Das Problem ist nicht die Größe, sondern die Layout-Struktur (Electronic Design Automation)
Siehe den EDA-Wikiartikel
Das Gehirn hat mehrere Eingabepfade und verschiedene Signalformen, und die Design-Komplexität ist deutlich höher
Der AGI-Diskurs wirkt wie eine Fortsetzung eines religiösen Impulses
Menschen sehnen sich noch immer nach einer absoluten Antwort, die alle Probleme löst
Unterdrückt man sie, kehrt sie in schlimmerer Form zurück
Meditation, Mäßigung und ethisches Verhalten gegenüber anderen sind meine persönliche „Religion“
Es geht um den Versuch, natürliche Systeme wie die Sonne oder das Gehirn technisch nachzubilden
Wie in der Religion nutzen Machtstrukturen Überzeugungen, um Kontrolle zu erhalten
Menschliche Leichtgläubigkeit und Betrug wiederholen sich unabhängig von der Epoche
Siehe: Extraordinary Popular Delusions and the Madness of Crowds
Eine Gesellschaft, in der Religion verschwindet, durchläuft zunächst eine Phase, in der nur noch eine werteleere Hülle bleibt,
und fällt danach in eine Phase der Religionslosigkeit, in der ein moralisches Vakuum entsteht
Manche wollen sich AI unterwerfen, aber „weil AI es gesagt hat“ ist ein uninspirierter Glaube
Auch ich wünsche mir als Techniker effiziente und harmlose Problemlösung, aber die Realität ist kompliziert
Ich habe neulich Bluetooth auf einem Raspberry Pi eingerichtet und das Problem mithilfe von GPT und Claude gelöst
Stack Overflow und Foren sind nicht mehr so aktiv wie früher, und die Dokumentation ist verstreut
Technik ist so komplex geworden, dass man am Ende zwangsläufig auf LLMs angewiesen ist
langfristig ist eine Gesellschaft, die ohne AI nicht mehr wartbar ist, nicht tragfähig
Technologie muss wieder zu Einfachheit zurückfinden
Siehe zum Beispiel ArchWiki Bluetooth oder Debian BluetoothUser
Schon jetzt entstehen in Unternehmen Strukturen, in denen AI-Agenten Werkzeuge stellvertretend ausführen
Am Ende droht die Gefahr, dass Menschen die interne Logik nicht mehr verstehen
Um Menschen vollständig zu ersetzen, haben sie aber noch grundlegende Grenzen
Letztlich könnten LLMs denselben Weg gehen
Ein Teil der Branche behauptet, LLMs seien eine grundlegende Sackgasse,
erkennt die Realität aber wegen Aktien und Ruf nicht an
könnten LLMs ebenfalls eine Zwischentechnologie auf dem Weg zu AGI sein
Sie könnten auch ein Kernbaustein eines AGI-Systems werden
Für mich hat Whisper die Arbeit an Untertiteln für Videos revolutionär verkürzt
Was früher Stunden dauerte, ist jetzt in wenigen Minuten erledigt
Dank MacWhisper mit seiner guten UI ist es auch deutlich zugänglicher geworden
Es gibt zum Beispiel Fälle, in denen Anwälte mit LLMs entlastendes Material aufspüren
Wichtiger als überzogene Skalierungsfantasien ist der praktische Einsatz
In ein paar Jahren dürfte die Zeit kommen, in der persönliche LLMs auf Laptop-Niveau laufen
Ich halte die Formulierung, Content-Moderatoren würden ausgebeutet, für überzogen
Diese Internet-Moderationsarbeit gibt es schon seit 30 Jahren
Sie kann unangenehm sein, ist aber weder neu noch besonders schrecklich
Unabhängig vom Streben nach AGI ist sie eine notwendige Rolle
Es ist angenehm, eine realistische AI-Diskussion zu sehen
Es geht nicht darum, dass die Transformer-Technologie selbst nutzlos wäre,
sondern darum, dass die Behauptung „AGI kommt bald“ eine massive Übertreibung ist
HN hat die meisten Hypes normalerweise gut überstanden, aber diesmal scheint es eine Ausnahme zu sein
Wir sollten uns daran wagen, nicht weil es leicht ist, sondern weil es schwer ist
Selbst wenn AGI eine Illusion sein sollte, könnten auf dem Weg dorthin nützliche Probleme gelöst werden
Die CO₂-Emissionen von Rechenzentren sind in vieler Hinsicht übertrieben dargestellt, und
langfristig sind mit sauberer Energie betriebene Rechenzentren wirtschaftlicher
Das ist eine direkte Belastung für Menschen mit geringem Einkommen
Die heutige AI ist in diesem Punkt wenig überzeugend
DeepMind und Demis Hassabis erzielen tatsächlich wissenschaftliche Ergebnisse
Zum Beispiel: AlphaFold, AlphaEvolve usw.
Angesichts solcher Forschung ist es unfair, einfach nur zu sagen, „AI ist eine Illusion“
Der Kern des Artikels ist die Kritik an der Fixierung auf AGI
Hassabis scheint ehrlich an wissenschaftlichem Fortschritt interessiert zu sein
Manche andere Unternehmen wirken dagegen eher wie PR zum Geldverdienen
Alle reden über AGI, aber am Ende erzählen alle nur, was sie selbst gemacht haben.
Statt bei Fragen des Engineerings mit seltsamen Dingen wie Umwelt- oder Arbeitsausbeutung anzukommen, wäre es vielleicht besser, einfach zu berichten, dass es den Bach runtergeht, und zu zeigen, dass man Short-Positionen eingeht..