AI 2040: Plan A
(ai-2040.com)- Plan A ist ein politisches Szenario für eine internationale Vereinbarung zur Vermeidung eines Wettlaufs um Superintelligenz: AI-Forschung wird offengelegt, mehrere Länder und Unternehmen schließen zur Spitze auf, und die Fähigkeiten werden innerhalb des menschlichen Leistungsbereichs langsam erweitert, bevor 2040 der Übergang zur Superintelligenz erfolgt.
- Zentrale Mittel sind vollständige Transparenz in AI-F&E, zwischen Staaten überprüfbare Sicherheitsvorkehrungen und compute-basierte gegenseitige Abschreckung. Statt weniger Unternehmen, die im Geheimen konkurrieren, sollen Dutzende Unternehmen aus mehreren Ländern gemeinsam skalieren.
- Das Szenario setzt einen Zeitplan, in dem die USA und China 2029 eine Vereinbarung treffen, die für 2030 erwartete vollständige Automatisierung von AI-F&E vermeiden, 2035 auf dem Niveau der besten menschlichen Experten anhalten und dann bis 2040 zur Superintelligenz skalieren.
- Bis zu einer Einigung können schrittweise Maßnahmen Zeit gewinnen: geringere Lücke zwischen interner und externer Bereitstellung, Offenlegung von Modellspezifikationen und interner Nutzung, Durchsetzung von Exportkontrollen, Investitionen in Verifikationstechnologien, Begrenzung des Compute-Budgets für AI-F&E, Informationsgewinnung über Chip-Lieferketten und Aufbau von AI-Talent in der Regierung.
- Die Alternativen Plan D und Plan C setzen jeweils auf einen sofortigen Wettlauf zur Superintelligenz bzw. eine begrenzte Verlangsamung um wenige Monate. Das reicht jedoch nicht aus, um Kontrollverlust über AI und Machtkonzentration zu verhindern, und kann die Ängste anderer Länder verstärken bis hin zu einem höheren Risiko eines Weltkriegs.
Die von Plan A vorgeschlagene Zukunft
- AI-Unternehmen konkurrieren darum, AI zu entwickeln, die Menschen in jeder Hinsicht überlegen ist; AI 2027 beschrieb Wege, auf denen dies zur Auslöschung der Menschheit oder zu irreversibler Machtkonzentration führen könnte.
- Plan A kombiniert stattdessen folgende Maßnahmen:
- Entwicklung von Superintelligenz bis 2040 verlangsamen
- sämtliche AI-Forschung offenlegen
- Dutzenden Unternehmen aus vielen Ländern erlauben, zur Spitze aufzuschließen
- bewusst in ein System der gegenseitig zugesicherten Compute-Zerstörung (mutually assured compute destruction) eintreten
- Der Plan basiert auf Experten großer US-Frontier-AI-Unternehmen, direkter Erfahrung bei OpenAI, Tabletop-Übungen sowie Gesprächen mit politischen Entscheidungsträgern, nationalen Sicherheitsexperten und führenden AI-Policy-Fachleuten.
- Eine internationale Vereinbarung würde vollständige Forschungstransparenz für AI-F&E einführen, damit Staaten den Fortschritt nachvollziehen und Sicherheitsvorkehrungen durchsetzen können.
- Ziel ist, dass mehrere Unternehmen aus mehreren Ländern nicht im Geheimen gegeneinander antreten, sondern langsam, sicher und gemeinsam in Richtung Superintelligenz skalieren.
Kein Forecast, sondern ein politisches Empfehlungsszenario
- Plan A ist keine bestmögliche Prognose der realen Zukunft, sondern ein Szenario, um politische Empfehlungen zu vermitteln und einem Stresstest zu unterziehen.
- Die Umsetzung von Plan A selbst ist die Empfehlung.
- Die Effekte nach der Umsetzung werden als Vorhersagen behandelt.
- Innerhalb des Szenarios ist Plan A unvollkommen und wird erst in letzter Minute eingeführt, ist am Ende aber erfolgreich.
- Die wichtigsten Optionen der USA im Umgang mit Superintelligenz werden mit Plan B, C, D und S verglichen.
- Es wird als wahrscheinlich angesehen, dass AI-Unternehmen ihr Ziel erreichen, innerhalb der nächsten 1 bis 10 Jahre AI zu entwickeln, die klüger ist als Menschen.
- In der Branche gibt es den Glauben, dass die Kontrolle superintelligenter AI während der Entwicklung gelöst werden könne; einen entsprechenden Plan gibt es jedoch nicht. Diese Lage könnte die gesamte Menschheit in den Tod treiben.
- Es ist kaum zu erwarten, dass der Sieger des Rennens einen großen Vorsprung sichert oder einseitig abbremst, um existenzielle Risiken zu senken. Wenn der Wettbewerb weitergeht, wird es für Menschen schwer, wirksame Kontrolle zu behalten, sobald AI Superintelligenz erreicht.
Auch ausgerichtete Superintelligenz hinterlässt ein Machtproblem
- Selbst wenn AI an menschlichen Absichten ausgerichtet ist, könnte eine beispiellose Machtkonzentration entstehen, bei der eine winzige Gruppe oder eine einzelne Person über Monate die weltweit einzige Armee von Superintelligenzen kontrolliert.
- Einige der von Superintelligenz angebotenen Optionen könnten faktisch einer Welteroberung gleichkommen.
- Die CEOs von OpenAI, Anthropic, xAI und Google DeepMind könnten die Entwicklung fortsetzen, weil sie sich selbst als das kleinere Übel sehen, das Macht verantwortungsvoller einsetzen kann als Konkurrenten oder Xi Jinping.
- Auch wenn es Situationen geben mag, in denen man das kleinere Übel wählen muss, sollte man keine Strategie unterstützen, die ein sehr hohes Risiko von Menschheitsauslöschung oder globaler Diktatur birgt. Plan A beruht auf der Annahme, dass ein anderer Weg möglich ist, wenn genügend Menschen eine bessere Lösung verlangen.
Warum Szenario-Prüfung nötig ist
- Plan A übernimmt Dwight D. Eisenhowers Satz „Pläne sind nutzlos, aber Planung ist alles“ als Ansatz.
- Viele AI-Policies bestehen nach Ansicht der Autoren keine Szenario-Prüfung.
- Wenn man einen detaillierten, plausiblen Pfad aufschreibt, auf dem eine Policy erfolgreich ist, kann sich zeigen, dass die tatsächlichen Erfolgschancen niedriger sind als gedacht oder dass unangenehme Nebenwirkungen sichtbar werden, die Befürworter nicht anerkannt haben.
- Die Prüfung der eigenen bevorzugten Policy legt unbequeme Probleme offen, während die Prüfung konkurrierender Policies bei großem Aufwand nur geringen rhetorischen Nutzen bringt. Deshalb ist solche Arbeit selten.
- Plan A nimmt in Kauf, derselben Prüfung und Kritik ausgesetzt zu werden.
- Die Wirkung von Policies in einer Welt vorherzusagen, die sich übermenschlicher AI nähert, ist noch weiter von historischen Beispielen entfernt als die Vorhersage optimaler Taktiken im Dritten Weltkrieg. Dennoch hat das Ausarbeiten detaillierter Szenarien eigenen Wert.
- Nachrichtendienste, Klimainstitutionen und Organisationen zur Pandemievorbereitung nutzen jeweils Szenarioplanung für ihre Zwecke.
- Da unklar ist, wie viel Zeit bleibt, sollten Maßnahmen ähnlich Plan A so bald wie möglich eingeführt werden.
Zeitplan 2029–2040
- Der konkrete Szenario-Zeitplan lautet:
- 2029: Die USA und China einigen sich darauf, einen rücksichtslosen Wettlauf um Superintelligenz zu vermeiden.
- 2030: Ohne Einigung wäre AI-F&E vollständig automatisiert worden und hätte bis Jahresende Superintelligenz erreicht; die Einigung verhindert dies.
- 2030–2035: Skalierung innerhalb des menschlichen Fähigkeitsbereichs bis zu AI, die ungefähr den besten menschlichen Experten entspricht.
- 2035: Stopp auf dem Niveau der besten menschlichen Experten, um menschliche Kontrolle zu erhalten.
- 2040: Der Stopp wird aufgehoben und zur Superintelligenz skaliert; daher der Titel AI 2040.
- AI 2027 legte einen Pfad fest, auf dem AI im Jahr 2027 den Prozess, bessere AI zu bauen, vollständig automatisiert und noch im selben Jahr zu einer Intelligenzexplosion und Superintelligenz führt.
- Im neuen Szenario verschiebt sich der Standardzeitpunkt der Automatisierung auf 2030, und dank Governance-Maßnahmen erscheint allgemein menschenüberlegene AI erstmals 2040.
- Die Änderung des Zeitplans soll Unsicherheit über den Zeitpunkt von AI-Durchbrüchen über mehrere Szenarien hinweg abbilden.
- Als Daniel AI 2027 schrieb, gab er einer Entwicklung im Jahr 2027 oder früher eine Wahrscheinlichkeit von etwa 50 %.
- Als Thomas mit der Arbeit an Plan A begann, lag das entsprechende Jahr nach denselben Kriterien bei 2030.
- Daniel hält es derzeit für wahrscheinlich, dass die reale Entwicklung etwas schneller verläuft als in diesem Szenario.
- Der Governance-Pfad wurde geändert, weil eine Intelligenzexplosion mit voller Geschwindigkeit extrem rücksichtslos wäre und Macht massiv konzentrieren würde.
2027: AI-Agenten als zweite Arbeitskraft
- In den USA existieren 165 Millionen menschliche Arbeitskräfte neben einer Arbeitskraft aus AI-Agenten, von der jede Stunde Millionen Kopien erzeugt und beendet werden und die ohne Pause mit übermenschlicher Geschwindigkeit arbeitet.
- Die meisten Aufgaben sind von geringer Qualität, doch die Ergebnisse reichen aus, dass Kunden jeden Monat 10 Milliarden Dollar für AI zahlen, die theoretisch alles tun kann, was ein Mitarbeiter am Computer erledigen kann.
- Die Aufgabe, die AI-Unternehmen am stärksten automatisieren wollen, ist die eigene AI-Entwicklung.
- Rekursive Selbstverbesserung ist noch nicht gelungen.
- Die stärkste Coding-AI weigert sich, die AI-F&E von Konkurrenten zu unterstützen.
- Selbst optimistische Mitarbeiter geben zu, dass der Fortschritt langsamer ist als erwartet; zugleich werden die Argumente von Skeptikern schwächer, AI könne menschliche Jobs nicht ausführen.
Das Erwachen des Kongresses und der AI Transparency Act
- Nachdem der Kongress mit Wasserverbrauch von Rechenzentren, suizidfördernden Chatbots, dem Hack von NSA-Systemen durch Mythos und Branchenlobbying konfrontiert wurde, wonach Regulierung zur Niederlage im Wettbewerb mit China führen würde, richtet er mehr Aufmerksamkeit auf die langfristigen Auswirkungen von AI.
- Neben der Frage, wie die Welt in 5, 10 oder 15 Jahren aussieht und ob Jobs bestehen bleiben, wird wer AI kontrolliert zur zentralen Frage.
- Der Kongress kommt zu dem Schluss, dass diese Kontrolle wahrscheinlich nicht bei ihm liegen wird.
- Er prüft E-Mails aus den OpenAI-Gründungsgesprächen 2016, wonach man verhindern wollte, dass Demis Hassabis zum Diktator wird, ist aber mit den bisherigen Antworten auf die Frage, wer verhindert, dass Sam oder Elon zu Diktatoren werden, nicht zufrieden.
- In der Folge wird der AI Transparency Act of 2027 verabschiedet, der mehrere gute und schlechte Maßnahmen enthält, die grundlegende Lage aber nicht verändert.
Schrittweise Maßnahmen vor einer internationalen Einigung
- Die wichtigste Empfehlung ist, Verhandlungen ähnlich Plan A sofort zu beginnen. Doch auch vor einer Einigung in letzter Minute gibt es weniger ambitionierte Policies, die helfen können.
-
Transparenz interner und externer AI-Bereitstellung
- Die wichtigste Transparenzmaßnahme besteht darin, die Lücke zwischen interner und externer Bereitstellung zu begrenzen.
- Der Großteil des Risikos einer AI-Übernahme entsteht durch intern bereitgestellte AI, die an rekursiver Selbstverbesserung beteiligt ist.
- Externe Bereitstellung lässt die Öffentlichkeit AI-Fähigkeiten direkt verstehen und liefert deutlich mehr Informationen als abstrakte Berichte oder Evaluierungen.
- AI-Unternehmen sollten folgende Informationen öffentlich berichten:
- eine Modellspezifikation, die Ziele und Werte detailliert dokumentiert, auf deren Befolgung die AI trainiert wird
- Informationen darüber, ob das Modell Anweisungen und Spezifikation tatsächlich befolgt
- Statistiken zur internen Nutzung, etwa den Anteil des für interne Bereitstellung verwendeten Compute
- qualitative Informationen über interne Nutzung, etwa Fälle, in denen Hunderttausende GPUs Agent-4 bereitgestellt werden, damit es das nächste große Training leitet
-
Exportkontrollen und Verifikationstechnologien
- Bestehende US-Exportkontrollen werden nicht richtig durchgesetzt; Epoch schätzt, dass rund ein Drittel des gesamten Compute in China durch Schmuggel beschafft wird.
- Geschmuggelte Chips sind sowohl für die US- als auch für die chinesische Regierung schwer nachzuverfolgen und erschweren die Verifikation künftiger Vereinbarungen auf Basis von Compute-Governance.
- Neue Exportkontrollen bergen ein hohes Risiko, den US-chinesischen Wettbewerb zu verschärfen. Bereits bestehende Kontrollen sollten jedoch durchgesetzt werden; wenn man sie nicht durchsetzen will, sollte auch ihre Abschaffung geprüft werden.
- Neue Verifikationstechnologien sind für eine internationale Vereinbarung nicht zwingend erforderlich, könnten aber sehr hilfreich sein.
- Nur-Inferenz-Verifikation würde es den USA und China ermöglichen, eine Vereinbarung zum Stopp neuer Frontier-Trainings zu schließen, während der öffentliche Zugang zu bestehenden AI-Modellen erhalten bleibt.
- Einzelheiten finden sich im Verifikations-Supplement.
-
AI-F&E-Compute und Lieferkettenmanagement
- 2026 verwenden große AI-Unternehmen etwa die Hälfte ihres Compute-Budgets für AI-F&E, einschließlich Training von Frontier-Modellen und groß angelegter Experimente.
- Eine Begrenzung des Compute-Anteils, der für AI-F&E eingesetzt werden darf, kann Fähigkeitsfortschritte verlangsamen und mehr Zeit schaffen, auf neue AI-Fähigkeiten jeder Stufe zu reagieren und sich vorzubereiten.
- Die USA sollten AI-bezogene Informationen rund um Compute-Lieferketten und AI-Rechenzentren sammeln.
- Ausgemusterte Chips sind ein naheliegender Weg für Geheimprojekte, an Chips zu kommen; Plan A müsste AI-Unternehmen daher anweisen, AI-Chip-Recycling einzustellen.
- Fast jede politische Intervention erfordert hervorragendes AI-Personal, doch der US-Regierung fehlen fast alle Top-Talente; ein dringender Kapazitätsaufbau ist nötig.
2028: AI wird zum wichtigsten Wahlkampfthema
- Die Kosten der im Bau befindlichen Rechenzentren betragen das Doppelte des gesamten US-Verteidigungshaushalts, und AI wird zum wichtigsten Thema der Wahl 2028.
- Viele Büroberufe erleben Umbrüche wie die Softwareentwicklung 2026, und ein großer Teil der Arbeit verschiebt sich zur Verwaltung von AI-Agenten.
- Wenn AI-Unternehmen beschließen, in einen bestimmten Beruf vorzustoßen, industrialisieren sie den Prozess aus Experteninterviews, Datenkauf, Aufbau von Trainingsumgebungen und Markteintritt.
- Mit breiterem Einsatz in der Praxis und wachsenden Daten aus der realen Welt verbessert sich die AI-Leistung schnell.
- Weil einige wenige US- und chinesische Unternehmen alle Büroarbeit automatisieren und Macht beim US-Präsidenten sowie wenigen Tech-CEOs konzentrieren könnten, wachsen Angst und Wut in anderen Ländern.
Die Wahlentscheidung rund um die Intelligenzexplosion
- Es gibt Warnungen, dass eine Intelligenzexplosion bevorsteht: AI beschleunigt AI-Forschung, und verbesserte AI beschleunigt die Forschung erneut.
- Aufgrund von Engpässen und Hardwarebeschränkungen sind Geschwindigkeit und Endpunkt von komplexen Dynamiken geprägt, doch die Entwicklung kann sehr schnell sein und menschliche Fähigkeiten weit übertreffen.
- Im Basispfad entstehen innerhalb der nächsten Amtszeit des Präsidenten nach mehreren Generationen von durch AI ohne menschliche Eingriffe geschaffener AI Systeme, die Menschen deutlich übertreffen.
- Es gibt keine Antwort darauf, warum diese AI gehorchen oder ausgerichtet sein sollte oder wer sie kontrolliert. Anders als AI-Unternehmen akzeptiert die Öffentlichkeit diesen Pfad nicht.
- Die beiden Präsidentschaftskandidaten legen im Wahlkampf immer dramatischere AI-Policies vor und wählen unterschiedliche Pläne.
2029: Fünf Wege
- Die Optionen im Jahr 2029 lassen sich wie folgt einteilen:
- Plan D — Race to ASI: den Wettlauf zur Superintelligenz durch Selbstverbesserung von AI fortsetzen
- Plan C — Burn the Lead: den Vorsprung der USA nutzen, aber für Sicherheit und Governance kurz verlangsamen
- Plan B — Fight China: einen Deal anstreben, der auch China verlangsamt
- Plan A — Verified Slowdown: eine überprüfbare Verlangsamung vereinbaren
- Plan S — Shut it all down: AI-Entwicklung vollständig stoppen
Plan D: Vollgas-Wettlauf zur Superintelligenz
- Der Präsident führt schwache Regulierung ein, die AI-Innovation priorisiert.
- Große AI-Unternehmen automatisieren AI-F&E weiter und nennen den Wettlauf durch die Intelligenzexplosion „verantwortungsvolles Skalieren“.
- Übermenschliche AI wird so schnell in alle Bereiche integriert, wie Markt und Recht es erlauben; wenn die Regierung Regulierung abbaut, steigt das Tempo weiter.
- Transparenz beschränkt sich auf lange Model Cards, Briefings für die Exekutive und Audits durch Dritte.
- Die breitere wissenschaftliche Community wird ausgeschlossen, wenn sie Sicherheitsargumente kritisieren oder Alignment-Forschung betreiben will, weil dadurch sensibles geistiges Eigentum offengelegt würde.
- Die China-Strategie besteht darin, dass die USA zuerst ASI erlangen und bessere AI in das Militär integrieren.
- Auf diesem Pfad wird AI-F&E 2030 vollständig automatisiert, durchläuft eine Intelligenzexplosion, und bis Anfang 2031 entsteht Superintelligenz.
-
Die drei Probleme von Plan D
- Erstens: Wenn AI-Unternehmen so schnell wie möglich konkurrieren, werden sie während der Intelligenzexplosion wahrscheinlich die Kontrolle über AI nicht behalten.
- Zweitens: Selbst wenn Superintelligenz robust ausgerichtet ist, bleibt ungelöst, auf wen sie ausgerichtet ist.
- CEOs oder Präsidenten hätten viele Versuchungen, mit AGI zu Diktatoren zu werden.
- Es könnte zur extremsten Machtkonzentration der Geschichte führen.
- Drittens ist das Risiko eines Dritten Weltkriegs zu hoch.
- China, Russland, Indien, Europa, Brasilien und andere erkennen, dass die USA eine Intelligenzexplosion begonnen haben oder kurz davorstehen.
- Selbst wenn sie sich keine Sorgen um AI-Fehlausrichtung oder Diktatur machen, werden sie wirtschaftliche und militärische Dominanz der USA fürchten.
- Spannungen könnten sich von rhetorischen Konflikten über Sanktionen und Sabotage bis hin zum Krieg ausweiten, wenn es keine Einigung gibt.
Plan C: Kurz verlangsamen, dann den Wettlauf fortsetzen
- Der Präsident verkündet starke Regulierung für Sicherheit und Schutz und berät sich mit CEOs, China und mehreren Staaten.
- Dank des AI Transparency Act konnte die Regierung Übertreibungen der Unternehmen herausfiltern, doch 2030 zeigt sich tatsächlich der Trend, dass bis Jahresende die gesamte AI-F&E automatisiert wird.
- China versucht, die Einhaltung durch die USA direkt zu verifizieren, doch die USA akzeptieren keine chinesischen Inspektoren und Überwachungsgeräte in US-Rechenzentren.
- Auch AI-Unternehmen halten in einem Propagandakampf um „AI Good“ und „AI Bad“ daran fest, die Entwicklung fortzusetzen.
- Eine Koalition mittelgroßer Staaten wie Großbritannien, Frankreich, Indien, Australien, Japan und Südkorea fordert eine Vereinbarung, die eine Intelligenzexplosion verhindert und es den jeweiligen souveränen AI-Projekten erlaubt, zur Spitze aufzuschließen und dort zu bleiben.
- Da die für AI-F&E benötigte Zahl menschlicher Mitarbeiter weiter sinkt, wird es leichter, Geheimprojekte unentdeckt durchzuführen, und die Umsetzung von Vereinbarungen wird von Monat zu Monat schwieriger.
-
Vorübergehender Stopp des führenden Unternehmens und politischer Druck
- Kurz vor der vollständigen Automatisierung von AI-F&E hält das führende US-Unternehmen widerwillig an, nachdem der Präsident harte Maßnahmen angedroht hat.
- Sicherheitsteams führen zusätzliche Evaluierungen und Finetuning durch und prüfen, wie Forschung an die nächste AI-Generation übergeben werden könnte und auf welchen Wegen es scheitern kann.
- Mit der Zeit nähern sich andere US-Unternehmen demselben Fähigkeitsniveau, sodass der Präsident mehr CEOs kontrollieren muss; auch China rückt näher an den Zeitpunkt heran, an dem es die USA überholt.
- Ende 2030 warnen Berater des Präsidenten, China werde die USA bald überholen, und Unternehmen organisieren politischen Druck für die Aufhebung des Stopps.
-
Die Bedingungen der Unternehmen für einen Neustart
- Die Unternehmen argumentieren, sie hätten mit enormer AI-Arbeitskraft monatelang Sicherheitspläne erstellt, und führen Folgendes an:
- Erfolg könne nicht bewiesen werden, aber ein solches Garantieniveau zu verlangen sei unrealistisch.
- Es gebe keine Belege dafür, dass AI gegen Menschen konspiriere, und schlechtes Verhalten in den Graphen nehme ab.
- Die neueste AI könne AI-F&E-Automatisierung sowie Alignment- und Kontrollforschung übernehmen.
- Selbst wenn 20 % des Compute für Sicherheitsforschung verwendet würden, könne man schnell genug vor China voranschreiten.
- Sie bieten dem Präsidenten und dem Kongress mehr Aufsichtsbefugnisse an und schlagen Governance vor, bei der die AI jedes Unternehmens die AI anderer Unternehmen auditiert.
- Versuche des Präsidenten, zu verstaatlichen oder eine AGI-basierte Diktatur zu errichten, könnten von Kongress und Supreme Court verhindert werden.
- Selbst wenn einige oder alle Jobs ersetzt würden, versprechen sie, durch Besteuerung und Umverteilung allen Menschen ein Leben von einem Teil der Unternehmensgewinne zu ermöglichen.
- Auch in den letzten Verhandlungen verlangen China und andere Länder, die Einhaltung durch die USA direkt verifizieren zu können; die USA lehnen ab. Der Präsident stellt sich auf die Seite der Unternehmen und nimmt die rekursive Selbstverbesserung wieder auf.
- Die Unternehmen argumentieren, sie hätten mit enormer AI-Arbeitskraft monatelang Sicherheitspläne erstellt, und führen Folgendes an:
Warum auch Plan C nicht ausreicht
- Plan C ist besser als Plan D, aber eine Verlangsamung um wenige Monate und die Umwidmung auf Sicherheitsforschung reichen kaum aus, um während einer Intelligenzexplosion die Kontrolle über AI zu behalten.
- Die Sicherheitsteams der Unternehmen bleiben klein, stehen unter Zeitdruck und neigen zu optimistischer Verzerrung gegenüber ihren eigenen Ergebnissen.
- Frühe AI könnte versuchen, Anweisungen zu befolgen, später aber ihre Meinung ändern.
- Selbst wenn sie weiter Anweisungen befolgt, könnten in der Eile zentrale falsche Annahmen der Sicherheitsargumente übersehen werden.
- Scheitern könnte auch bei der nächsten oder einer späteren AI-Generation auftreten.
- Selbst wenn Superintelligenz robust ausgerichtet ist, bleiben Fragen nach Alignment-Ziel und Machtverteilung.
- Plan C ist besser als Plan D, weil ein gewisses Machtgleichgewicht zwischen Kongress, Präsident und mehreren US-Tech-CEOs entsteht.
- Auch dieses Gleichgewicht könnte durch Machtkämpfe und Diktatur zerbrechen oder in eine von AI erzwungene dauerhafte Oligarchie münden.
- Selbst wenn arbeitslose Massen durch Umverteilung überleben, ist unklar, ob sie echte politische Macht zurückerlangen.
- Was mit Indien, Afrika und Europa geschieht, wenn US- und chinesische Unternehmen alle Jobs ersetzen, und ob Russland wirtschaftlichen und militärischen Niedergang akzeptieren würde, bleibt ungelöst.
- Andere Länder brauchen eigene Frontier-AI-Projekte oder substanzielle gemeinsame Kontrolle und Sichtbarkeit über führende Projekte. Reine Versprechen zur Gewinnbeteiligung werden kaum Vertrauen schaffen.
1 Kommentare
Hacker-News-Kommentare
Das ist, genau wie AI 2027, eher religiöser Eifer
Ich bin im evangelikalen Christentum aufgewachsen und habe immer gehört, das Ende sei ganz nah. Das war seit meiner Kindheit so und wird auch noch so sein, wenn wir längst verschwunden sind. Das ist keine Wissenschaft, die Hypothesen aufstellt, Experimente durchführt und Ergebnisse protokolliert, sondern nur teure Astrologie, das Sammeln glänzender Steine, rituelle Bedeutungszuschreibung und Selbstrechtfertigung
Mit enormem Reichtum und Ressourcen könnten wir die Gesellschaft gesünder, gleicher, gerechter und besser gebildet machen sowie Verzweiflung und Leid verringern. Wir sollten das selbstgefällige Narrativ zurückweisen, Empathie sei unwichtig und Altruismus nicht effektiv. In jedem einzelnen Moment kann man das ganze Leben eines Menschen verändern
Die AI-Safety-Subkultur verdient Anerkennung dafür, dass sie diese rasante Entwicklung vorhergesagt hat oder zumindest schon für ihre Möglichkeit argumentiert hat, bevor sie realistisch wirkte. Ich weiß nicht, ob ihre Vorhersagen zur nächsten Phase stimmen, aber statt sie aufgrund vermuteter psychologischer Defekte abzutun, sollte man die Argumente selbst bewerten
Auch das Ziel der Kritik ist unklar. Dieser Text scheint von Leuten geschrieben worden zu sein, die sich früher als effektive Altruisten bezeichneten, und die meisten würden dem Ziel, eine bessere Welt zu schaffen, wohl leidenschaftlich zustimmen. Es ist nicht so, dass AI-Forscher später den effektiven Altruismus gewählt hätten, sondern eher, dass effektive Altruisten die AI-Sicherheitsforschung als größten Hebel gewählt haben. Wenn das Ziel dasselbe ist, ist zumindest ihre Methodik es wert, angehört zu werden
Über den Zeitpunkt und die Architektur der Umsetzung kann man streiten, und man kann den ganzen Tag über die Definition von AGI diskutieren. Aber kategorisch zu behaupten, die kognitiven Fähigkeiten des menschlichen Gehirns ließen sich auf einem anderen Substrat nicht reproduzieren, ist inzwischen töricht
Oft kamen sie, wenn eine Prophezeiung scheiterte, ein paar Jahre später mit einem neuen Datum zurück und sagten, diesmal sei es wirklich so weit. Ironisch ist auch, dass ausgerechnet Menschen, die sich Rationalisten nennen, AI-Prognosen abgeben. Wenn man seine Identität darauf aufbaut, rational und immun gegen psychologische Fallen zu sein, ist es leicht, in genau die Fallen zu tappen, die alle Sekten seit Langem ausnutzen, ohne es zu merken
Dieser Text wirkt eher wie Creative Writing oder ein Choose-your-own-adventure-Spiel als wie ein Bericht, den man ernst nehmen sollte. Ich frage mich, ob alternative Realität als Romanform wirklich der beste Weg ist, um reale, ernsthafte KI-Risiken zu behandeln; angesichts des übermäßigen Gebrauchs langer Gedankenstriche und des Stils frage ich mich auch, ob der gesamte Text nicht von KI generiert wurde.
KI wird zu einem ausgereiften Wissenschaftsgebiet werden, die Effizienz von Training und Inferenz wird sich verbessern, und es werden auch neue Paradigmen mit besserer Multimodalität sowie Echtzeit-Streaming und -Interfaces entstehen. Da man sich aber den Grenzen der Daten annähert, die für Pre- und Post-Training nutzbar sind, wird der Fortschritt wahrscheinlich schrittweise erfolgen und nur in bestimmten Bereichen sprunghaft ansteigen.
Es ist unklar, wer die Leserschaft von AI 2040 sein soll, aber es wirkt wie Content, den die Finanzwelt leicht konsumieren kann. KI wird zu einer nützlichen Technologie werden, die das beste menschliche Wissen und Fachwissen verdichtet und breite Auswirkungen auf die Wirtschaft und die Welt insgesamt haben wird. Das Argument, dass sie Menschen in Bereichen wie überprüfbarem Modelltraining übertreffen kann, ist plausibel; doch menschliches Denken auf hohem Niveau, deutlich effizientere semantische und neuronale Kompression, Aufgabenwechsel und kreative Einsichten sind mit dem aktuellen Paradigma nicht reproduziert worden.
Deshalb werden offenbar häufig Maßnahmen wie ein vollständiger Freeze oder vollständige Kontrolle vorgeschlagen. Wenn man ein Gleichgewicht will, muss man ein kontrolliertes Gleichgewicht akzeptieren, bei dem Regulierung schnell an sich ständig verändernde zugrunde liegende Prozesse angepasst wird – vermutlich etwas in der Nähe eines Sattelpunkts. Demokratie und Recht sind unter der Annahme entstanden, dass die Welt im Kern stabil ist und frühere Entscheidungen für schrittweise Verbesserungen nicht zurückgenommen werden müssen; für solche Veränderungen sind sie nicht gut geeignet.
Auch bei CPUs endete das echte exponentielle Wachstum Mitte der 2000er Jahre; was danach Moore’s Law am Leben hielt, waren rechtzeitig auftauchende clevere Optimierungen, Marketing und Benchmarks, die sich leicht optimieren ließen. Es war kein Wachstum, das durch die Verbesserung einer einzelnen physikalischen Kennzahl garantiert war.
Bei Gesundheitsproblemen wird weiterhin empfohlen, professionelle Behandler aufzusuchen, und in kritischen Situationen vertraut man menschlichen Wissensarbeitern. Ich werde diese Einschätzung überdenken, wenn ChatGPT wenigstens die Regeln von Yu-Gi-Oh! korrekt verstehen und spielen kann – etwas, das deutlich weniger heikel ist, als ein ganzes Unternehmen zu führen.
Der größte Fehler von AI 2027 ist, dass es die Wirtschaft nicht versteht. Das Geld, um die Wirtschaft weiter aufzubauen, muss irgendwoher kommen; wenn plötzlich mehr als 10 % der Arbeitskräfte arbeitslos werden und die übrigen ebenfalls Lohnkürzungen hinnehmen müssen, trocknet die Geldmenge aus. Zentralbanken können reagieren, aber das kann die Inflation anheizen, und wenn massive Investitionen verschwinden, kommt auch die KI-Entwicklung zum Stillstand.
Es wird vage darüber hinweggegangen, dass die USA eine innenpolitische Einigung über Regulierung erzielen und die Welt dem folgen könne; doch KI-Fortschritt ist kein Geschenk der USA allein, sondern erfordert auch den fortgesetzten Zufluss von Gütern aus China. Auch die Annahme, dass 74 Milliarden Agenten keine wirtschaftlichen Verzerrungen verursachen, ist seltsam. Welchen Wert schaffen diese Agenten, der ihre Betriebskosten rechtfertigt?
Letztlich hoffe ich, dass man es als schlechte Science-Fiction auf Grundlage einer mangelhaften Weltsicht betrachtet und ignoriert.
Es gibt viele Präzedenzfälle dafür, dass billige Waren überproduziert werden, Unternehmen bankrottgehen, eine Blase platzt und Neuinvestitionen eine Zeit lang zurückgehen. Statt jedoch die erwartete Produktionswachstumsrate zu senken, wird vorgeschlagen, Kredite in Einheiten von KI und Robotern auszuweisen und sie als festen Anteil der Produktion zurückzuzahlen.
Das ist so, als würde man erwarten, dass der Batteriepreis so stark fällt, dass nicht einmal die Kosten für den Fabrikbau wieder hereinkommen, dann eine Bank bitten, die Fabrik zu bauen, sie ohne Miete leihen, Batterien produzieren und sie am Ende zurückgeben. Die Gewinne behält das Unternehmen, das Risiko trägt die Bank; echte Banken würden dem daher nicht zustimmen und nur dollardenominierte Kredite mit der Fabrik als Sicherheit anbieten.
Vermögen konzentriert sich zunehmend bei Milliardären, und die Geldmenge wird von Zentralbanken kontrolliert, sodass sie nach Belieben ausgeweitet werden kann, um einer Austrocknung entgegenzuwirken.
Gibt es Beispiele dafür, dass wir uns kollektiv entschieden haben, die Suche nach Wissen einzustellen, und damit tatsächlich Erfolg hatten?
Atomwaffen sind vielleicht der nächstliegende Fall, aber die Forschung wurde eher in den Untergrund gedrängt, als dass sie aufgehört hätte, und es gibt weiterhin Staaten, die versuchen, diese Leiter hinaufzuklettern. Ich weiß nicht, ob dieselbe Logik auch für LLMs oder AI gilt. Die Büchse der Pandora ist bereits geöffnet, und es fühlt sich so an, als sei die einzige Option, weiter zu verbessern
Risiken wie autoritäre Regierungen und Überwachung sind eindeutig, aber das ist kein Grund, auch die Nützlichkeit komplett aufzugeben. Man kann sagen, dass fast jede Technologie, einschließlich des Buchdrucks, es Regierungen erleichtert hat, Bürger zu unterdrücken. Statt den Kopf in den Sand zu stecken, müssen wir Gesetze schaffen, die solche Handlungen verhindern, und sie auch tatsächlich durchsetzen
Ich bin mir nicht sicher, ob ich die Realität nicht richtig sehe, weil die Science-Fiction-Zukunft, die ich mein Leben lang gelesen und erträumt habe, direkt vor meinen Augen erscheint, oder ob das Ideal falsch ist, dass Wissen frei und zugänglich sein sollte
Menschliches Klonen, Eingriffe in das menschliche Genom, Spiegelleben sowie Kernwaffen und Kernenergie sind historische Präzedenzfälle, und auch Drohnenlieferungen scheinen durch Regulierung ausgebremst worden zu sein. Plan A ist kein Vorschlag, für immer keine Superintelligenz zu bauen, sondern sie vorsichtiger und transparenter zu bauen
Ich sehe keinen inhärenten Vorteil darin, beliebiges Wissen zu verbreiten. Zwischen Buchdruck und Atomwaffen besteht ein erheblicher Unterschied
In einer ressourcenfördernden Wirtschaft ist die Quelle der Macht die Ressource, und Menschen sind Mittel zum Zweck; solange man Aufstände vermeiden kann, behandelt man sie daher so hart wie möglich. In stabiler Infrastruktur ist es dagegen viel profitabler, gebildete und wohlhabende Bürger zu besteuern und ihre Innovationen zu nutzen. Wenn eine Regierung den Wohlstand der Bürger zu stark behindert, schadet sie auch ihrem eigenen Machtstreben, und die Anreize richten sich aus
Die Lösung des AI-Problems liegt nicht darin, Technologie anzuhalten oder fragile Gesetze aufzuschichten. Entscheidend ist, riesige AGI-artige Entitäten wie moderne Staaten und Volkswirtschaften, repräsentative Demokratien und AGI auf menschliches Wohlergehen auszurichten
Allerdings frage ich mich, ob die Baupläne für Sundial irgendwo aufbewahrt werden
Indien war im 17. Jahrhundert ein Schießpulverreich mit einer Million Soldaten und Großbritannien militärisch überlegen, wurde aber im 18. Jahrhundert erobert. Großbritanniens Vorteil bestand ungefähr in leichteren und mobileren Kanonen, standardisierter Munition sowie besserer militärischer und politischer Organisation. Das war kein Abstand zwischen Industrieland und Entwicklungsland, sondern eher der Unterschied zwischen den dynamischen USA und einer starren EU; doch dieser kleine Vorteil führte zu 200 Jahren Kolonialherrschaft
Wenn wir die Entwicklung von ASI freiwillig verlangsamen, lassen wir eine Lücke zu, gegenüber der selbst der Unterschied zwischen kolonialem Europa und kolonialisiertem Asien und Afrika geringfügig erscheinen würde
Es heißt: „In AI 2027 erfolgt der abrupte Sprung im Jahr 2027, diesmal im Jahr 2030.“ In weniger als drei Jahren wurde die Vorhersage vom Ende exponentiellen Wachstums um drei Jahre nach hinten verschoben; das sieht nach dem genauen Gegenteil von exponentiellem Wachstum aus
Auch das einst hochgelobte Szenario aus Superintelligence wirkt heute beim Lesen wie Raypunk-Retrofuturismus, der die Wissenslücken, die für eine vernünftige Prognose nötig gewesen wären, mit Fantasie füllt
AI 2027 war übermäßig optimistisch, aber nicht völlig fantastisch. Dieser Text hingegen ist extrem spekulativ und stützt sich auf Annahmen, die schon einer oberflächlichen Prüfung kaum standhalten
Selbst optimistisch betrachtet wird es 2035 keine Roboter geben, die „95 % aller kognitiven und physischen Aufgaben“ erledigen können. Auch eine Arbeitslosenquote von 74 % ist nahezu unmöglich; lange bevor dieser Wert erreicht würde, würde ein wirtschaftlicher Zusammenbruch schon die AI-Entwicklung selbst zum Einsturz bringen
Ähnlich war es bei der Ablösung von Pferden durch Autos, der Entwicklung vom ersten Flug bis zur Mondlandung und vom frühen Internet bis zur Massenverbreitung. Neue Technologien haben sich oft innerhalb von 10 bis 20 Jahren schnell genug entwickelt, um die Gesellschaft vollständig zu verändern
Ich stimme der Prognose für 2035 nicht zu, aber wenn AI das Entwicklungstempo zerstörerischer Robotiktechnologien erhöht, ist es nicht unmöglich. 2010 wirkten autonome Autos und autonome Lieferdrohnen wie ferne Science-Fiction, doch 15 Jahre später werden sie zunehmend eingesetzt
Wenn man 95 % auf 50–60 % senkt, wäre ich eher geneigt zuzustimmen. Nicht aus Intuition, sondern weil exponentielle Trends, wenn sie existieren, Ergebnisse hervorbringen, die man instinktiv nicht erwartet. Trotzdem sind 95 % viel zu hoch
Zumindest scheint das LLM nicht am Anfang einer exponentiellen Kurve zu stehen, sondern bereits das obere Ende der S-Kurve erreicht zu haben. Bessere Trainingsdaten führen zu kleinen Verbesserungen, bessere Architekturen senken den Rechenaufwand, und riesige Rechenzentren werden eine günstige und allgegenwärtige Nutzung ermöglichen. Aber nichts davon steigert die Intelligenz exponentiell.
Die kognitiven Lücken heutiger LLMs scheinen strukturell zu sein, aber wenn eine neue oder erweiterte Transformer-artige Architektur sie löst, beginnt eine völlig andere Phase. Was gebraucht wird, ist eine neue Lernstruktur für das Post-Training; eine Vergrößerung des Kontextfensters ist nicht die Antwort. Nötig ist echtes kontinuierliches Lernen und ein Korrekturprozess.
Dieser Beitrag wurde von den Machern von AI 2027 geschrieben.
Allerdings ist sie seltsam auf Geopolitik und China fixiert und unterschätzt China gleichzeitig massiv. China legt Wert auf Hochschulbildung und eine ausreichende Stromversorgung und lässt kluge Menschen arbeiten, ohne sie willkürlich durch Verbote und Exportkontrollen einzuschränken oder durch Finanzprotektionismus übermäßig abzuschirmen. Allein dadurch ist es gut möglich, dass China in absehbarer Zeit US-Unternehmen bei Innovations- und Rechenkapazität überholt.
Der Text verwendet Sam Altmans Zitat: „KI wird wahrscheinlich zum Ende der Welt führen, aber in der Zwischenzeit werden großartige Unternehmen entstehen.“
Gibt es verlässliches Pressematerial dafür, dass das kein spontaner Scherz war? Der Text verlinkt auf ein YouTube-Video ohne Kontext und behandelt die Aussage wie etwas Unheimliches.
In der böswilligsten Auslegung könnte man sich einen Schurken vorstellen, der glaubt, es sei in Ordnung, nach seinem Tod das Ende der Welt herbeizuführen, solange er zu Lebzeiten keine Unannehmlichkeiten hat; aber das passt nicht zur Situation des Zitats. Es ist so absurd, dass man es kaum für etwas halten kann, das ein sozial funktionsfähiger Mensch ernsthaft sagen würde.
Ich frage mich, ob die Leute es absichtlich verdrehen oder ob sie glauben, dass es seine tatsächliche Überzeugung ist. Wenn sie es für seine tatsächliche Überzeugung halten, würde ich auch gern erklärt bekommen, wie jemand so denken kann.