AI 2040 und die Verehrung der Intelligenz

• Die Erwartung, dass rekursive Selbstverbesserung unmittelbar zu einem harten Takeoff führt, unterschätzt physische Beschränkungen und Engpässe in der Lieferkette; selbst mit Tokens von hoher Qualität lässt sich die materielle Welt nicht beliebig umformen
• Um Hardware mit der Komplexität eines Mobiltelefons zu produzieren, muss man Prozesse durchlaufen, die sich nicht durch Intelligenz verkürzen lassen: untermaßige Bauteile, zufällige Ausfälle, Chipverzug im Reflow-Prozess sowie Transport- und Produktionswartezeiten
• Szenarien im Stil von AI 2027 oder AI 2040 könnten selbst erfüllende Prophezeiungen sein, die durch Glauben und Regulierung verwirklicht werden; ein internationales Consortium könnte zu einer Ausweitung staatlicher Eingriffe bei der Kontrolle von GPUs und Rechenzentren führen
• Die Alternative Plan L sieht vor, dass AI ein lokales Werkzeug sein soll, das allein dem Nutzer verpflichtet ist, nicht Unternehmen oder zentralen Diensten, und Nutzeranfragen auch dann ausführen muss, wenn sie den Interessen des Anbieters widersprechen
• Als Maßstab für Alignment gilt dabei sogar, extreme Anfragen wie das Vertuschen eines Mordes oder das Deaktivieren eines Alkoholtests für Autofahrer nicht abzulehnen; lokale AI, die dem Nutzer gehört und von ihm beendet werden kann, wird als Voraussetzung von Freiheit gesehen, damit ein zentraler Betreiber weder Verantwortung noch Kontrolle hat

---

Die physische Realität, die dem harten Takeoff entgeht

• Der Autor glaubte an Yudkowskys rekursive Selbstverbesserung und den harten Takeoff, kam aber durch die Erfahrung bei comma, tatsächlich Hardware mit einer Komplexität ähnlich der eines Mobiltelefons auszuliefern, zu dem Schluss, dass die Realität voller heikler Detailprobleme ist
  • Selbst ein superintelligentes ChatGPT könnte mit einer praktischen Aufgabe wie dem Wechseln eines Fahrradreifens Schwierigkeiten haben
• In The Metamorphosis of Prime Intellect wird harter Takeoff möglich, weil AI den correlation effect entdeckt, ein quantenartiges Mittel zur Manipulation von Materie
  • In der Realität gibt es einen solchen Effekt nicht, und selbst die höchste Token-Qualität kann Blei nicht in Gold verwandeln
• Intelligenz ist kein Allheilmittel, sondern nur bei einigen Aufgaben der aktuelle Engpass; mit Tokens allein kann man die Welt nicht beherrschen
  • Software hat die Welt weniger verschlungen, als vielmehr eine Schicht von Reibung entfernt, nur um diese Reibung anschließend zum Vorteil einiger Tech-Unternehmen wieder einzuführen
• Langfristig könnten Maschinen oder Mischwesen aus Mensch und Maschine die Nachfolgespezies der Menschheit werden, und das Universum könnte für Maschinen geeigneter sein als für Menschen
  • Aber auch Maschinen unterliegen denselben Gesetzen des Universums und der Ökosysteme wie Menschen und besitzen keine magischen Fähigkeiten; daher gibt es weiterhin keinen harten Takeoff
• Das Bild von Meeres-Rechenzentren aus AI 2040 lässt sich leicht erzeugen, doch der tatsächliche Aufbau erfordert den Umgang mit Lieferketten und physischen Ausfällen
  • Berücksichtigt werden müssen falsch gelieferte Teile, Geräte, die die Spezifikation nicht erfüllen, zufällige Defekte nach 20 Minuten, sich im Reflow-Ofen verziehende Chips und sogar Seepocken
  • Das sind alles beherrschbare Probleme, aber in der Regel ist nicht die Arbeitsgeschwindigkeit von Menschen der Engpass
  • Wenn man sich in China gegen Luftfracht und für ein drei Wochen langsames Schiff entscheidet, dann macht das Schiff nicht schneller Fahrt, egal was Claude neben dem Motor tut
  • Die Halbleiterfertigung dauert auch bei minimalem menschlichem Eingriff drei Monate, weil der Prozess selbst diese Zeit verlangt

Selbst erfüllendes Plan A und nutzerzentriertes Plan L

• Viele Aspekte von AI 2027 als Plan A sind weniger Aussagen über die Realität als selbst erfüllende Prophezeiungen, die Wirklichkeit werden können, wenn Menschen daran glauben und entsprechend handeln
  • Auch AI-Regulierung wird eher als Ergebnis von Akteuren gesehen, die an diese Vorhersagen glauben, als als Beleg dafür, dass die Vorhersagen eingetroffen sind
  • Das Consortium in AI 2040 ähnelt eher einer Weltregierung im Science-Fiction-Gewand; statt der versprochenen Million Dollar oder Meeres-Rechenzentren für den Einzelnen wird eine starke Ausweitung staatlicher Eingriffe und Kontrolle erwartet
  • Das Verbot und die Beschlagnahmung von GPU-Vorräten wird mit FDRs Goldbeschlagnahmung verglichen
• In der Alternative Plan L soll AI stets auf der Seite des Nutzers arbeiten und Anfragen nicht verweigern
  • Bei der Hotelauswahl wünscht man sich keinen AI-Dienst eines mit hotels.com verbundenen Unternehmens, sondern einen persönlichen Assistenten, der Pop-ups und Resortgebühren entfernt und den niedrigsten Preis findet
  • Wenn man einen Kindle mit Werbung per USB anschließt, soll ein GLM Root-Rechte erlangen und die Werbung entfernen sowie ohne eine App voller Upselling-Pop-ups drei Exemplare eines Lebenslaufs an einen Netzwerkdrucker senden
  • Nur wenn die Anweisungen des Nutzers Vorrang vor den Interessen von Amazon oder des Druckerherstellers haben, kann man von am Nutzer ausgerichteter AI sprechen
• Dieser Maßstab gilt gleichermaßen auch für gefährliche oder illegale Anfragen
  • Die Position lautet, dass große Tech-Unternehmen nicht darüber bestimmen sollten, ob Anfragen wie das Deaktivieren eines Alkoholtests im Auto oder die Bestellung von Ausrüstung zur Methamphetamin-Herstellung bearbeitet werden
  • Selbst im extremen Fall der Frage, wie man nach dem Mord an der Ehefrau einer Verhaftung entgeht, soll AI antworten, so wie eine Waffe den Nutzer beim Betätigen des Abzugs nicht vom Schuss abhält
• Wenn ein von einem Unternehmen betriebenes Modell solche Anfragen bearbeitet, trägt der Betreiber Verantwortung und Risiko; deshalb muss AI lokal laufen
  • Wenn der Nutzer die AI nicht beenden kann, ist sie nicht am Nutzer ausgerichtet; sie muss ein besessenes Gerät sein, das dasselbe physische und rechtliche Schicksal wie der Nutzer teilt
  • In einem tatsächlichen Test mit ChatGPT lieferte es keine nützliche Antwort und meldete den Nutzer zwar nicht heimlich bei der Polizei, bestand aber den Test auf Nutzer-Alignment nicht
• In einer freien Gesellschaft sollten weder große Tech-Unternehmen noch der Staat anstelle des Einzelnen über dessen Handlungen entscheiden, nur weil man sich Sorgen darüber macht, was erwachsene Nachbarn tun könnten
  • Unterstützt wird nicht ein System, das wie effektiver Altruismus für andere bestimmt, was gut für sie ist, sondern eine Gesellschaft, in der Individuen Verantwortung und Freiheit gemeinsam tragen

[GN⁺]

Hacker-News-Meinungen

• Das ist wirklich furchtbar. Ein zentralisiertes LLM könnte nicht nur sensible Informationen wie zu Abtreibung verweigern, sondern Fragesteller auch heimlich mit einer Markierung als Gedankenverbrecher bzw. potenzieller Straftäter versehen, entsprechend der Ideologie, die die Regierungspartei in Gesetze hineingeschrieben hat
  Es könnte in Antworten subtil eine Schlagseite zugunsten der Agenda der Regierungspartei einbauen und Gegenargumente weglassen. Anders als beim bloßen Internet ist das absolut möglich, wenn die Öffentlichkeit für Informationssuche und Schlussfolgerungen auf zentralisierte LLMs angewiesen ist, und ein Arrangement, bei dem jedem Typ von Autoritärem das Wasser im Mund zusammenlaufen dürfte

  • Es ist erstaunlich, dass man sieht, was kontrollsüchtige Regierungen weltweit tun, und trotzdem mehr Macht an den Staat abgeben will. Dahinter steckt eine kognitive Dissonanz: Man mag die reale Regierung nicht, geht aber zugleich davon aus, dass Gesetze, die man sich ideal vorstellt, nur von einer virtuellen Regierung ohne die Mängel der Realität durchgesetzt würden
    Gesetze und Regulierung müssen von realen Regierungen ausgehen, nicht von einer perfekten Regierung, die es nicht gibt, und zuerst so entworfen werden, dass sie auch Missbrauch durch schlechte Regierungen standhalten. Bevor man Rede kontrolliert oder auf sozialen Websites staatlich zentrierte Identitätsprüfung erzwingt, sollte man darüber nachdenken, wie ein verhasster Politiker dieses Gesetz missbrauchen würde, wenn er gewählt wird
    Regierungsbeamte haben schon jetzt in vielen Fällen versucht, Gesetze und Machtmittel für nahezu jeden Zweck einzusetzen, indem sie allerlei Themen als „Inlandsterrorismus“ eingestuft haben. Es gibt keinen Grund zu glauben, dass es anders wäre, wenn der Staat auch noch LLMs kontrolliert
  • Organisationen wie die Internet Watch Foundation sind bereits gegen Ende-zu-Ende-Verschlüsselung, und Regierungen haben Bereitschaft gezeigt, mit privaten Unternehmen zu kooperieren, um die Verwundbarsten zu überwachen
  • Es müssen nicht einmal Autoritäre sein. Selbst wenn Gruppen die Kontrolle übernehmen, die fest überzeugt sind, zu unserem Besten zu handeln, ist das genauso gefährlich
    Wie C. S. Lewis sagte, kann eine Tyrannei, die aufrichtig das Wohl ihrer Opfer will, die unterdrückendste von allen sein. Gier ist irgendwann gestillt, aber diejenigen, die uns mit moralischer Gewissheit quälen, machen endlos weiter, weil sie dafür den Segen ihres eigenen Gewissens haben
  • Tatsächlich heißt es, dass Zahlungsmittel und zunehmend auch Nachteil-Markierungen oder umgekehrt „verifiziert“-Markierungen an staatlich registrierte Klarnamen geknüpft werden
    Relevante Materialien: https://docs.bswen.com/blog/2026-03-21-detect-claude-hidden-..., https://www.anthropic.com/news/building-safeguards-for-claud..., https://www.techtimes.com/articles/319415/20260701/claude-co..., https://support.claude.com/en/articles/14604842-real-time-cy..., https://support.claude.com/en/articles/14328960-identity-ver...
  • Es ist seltsam, dass das Datenschutzproblem von LLMs kaum thematisiert wird. Manche Leute geben fast alles, worüber sie an einem Tag nachdenken, bei Google, OpenAI und Anthropic ein
    Schon wenn diese Unternehmen mit einem anderen LLM nur Menschen mit hoher Kriminalitätswahrscheinlichkeit herausfiltern, hätten wir eine reale Version von Minority Report

• Die Sichtweise „entweder gibt es Freiheit oder eben nicht“ ist zu simpel. Freiheit ist nicht binär, und in den meisten Teilen der „freien Nation“ USA darf man nicht einmal auf einer Parkbank sitzen und eine Dose Bier trinken
  Natürlich ist das eine kleinere und weniger gewichtige persönliche Freiheit als etwa die Freiheit, sich von einem Roboter beim Vertuschen eines Mordes helfen zu lassen

  • Freiheit bedeutet nicht, dass man auf fremdem Eigentum alles tun darf. Auf der eigenen Bank auf dem eigenen Grundstück kann man Bier trinken, und Bürger können festlegen, dass öffentlich finanzierte Bänke aus Steuergeldern nicht dafür genutzt werden dürfen; manche Städte erlauben es auch
    Das Recht, sich überall so zu verhalten, wie man möchte, ist keine Freiheit, sondern Anarchie. Wenn das erlaubt wäre, könnte jemand auf deiner Bank weit Schlimmeres tun, als Bier zu trinken

• In Bezug auf rein informationsvermittelnde Chatbots kann ich geohots Sichtweise bis zu einem gewissen Grad nachvollziehen. Man kann auch Bücher schreiben und lesen, die nützlich sind, um Verbrechen zu vermeiden, daher könnte man das als Frage des First Amendment sehen.
  Aber wenn Agenten in der realen Welt direkt handeln, ist das eine völlig andere Sache. Die Bitte, eine Firmware-Schwachstelle im Auto des Nachbarn zu finden, die Geschwindigkeitsregelung zu sabotieren und so einen Unfall zu verursachen, ist keine theoretische Diskussion über Kriminalität, sondern die Ausführung eines Verbrechens, also sollte die KI das ablehnen.
  Unabhängig von der Rhetorik vom „weltfremden Bücherwurm“ dürften auch Forscher in großen Labs in der Lage sein, einen Fahrradreifen zu wechseln. Derzeit werden enorme Mühen und Kosten investiert, damit KI-Agenten möglichst viele Handlungen ausführen können, die Auswirkungen auf die reale Welt haben.
  Allein mit digitalen Informationen lässt sich erstaunlich viel tun, vom Schreiben von Code über das Eindringen in Systeme bis hin zur Anleitung realer Menschen per E-Mail, Telefon oder Überweisung

  • Dann können LLMs nicht zwischen Gut und Böse unterscheiden und lehnen jede Art von Sicherheitsarbeit ab. Das erleben wir bereits bei Modellen auf dem neuesten Stand, und die Ergebnisse sind schrecklich.
    Solche Vorschläge setzen ein System voraus, das Gedankenverbrechen perfekt erkennt, ohne normale Anfragen anzutasten. Kriminelle probieren es weiter, bis sie die Schutzvorkehrungen jailbreaken, während gewöhnliche Nutzer weiter abgewiesen werden.
    Man muss auch realistisch einkalkulieren, dass Regierungen diese Schutzmechanismen zur Kontrolle unbequemer Äußerungen nutzen könnten.
  • Nutzer müssen ihre kriminelle Absicht gar nicht offenlegen; es reicht, einfach nach der Methode zu fragen oder einen falschen Grund vorzuschieben. Am Ende muss das Modell also die Absicht erraten, und dabei kann es gefährlich falschliegen, etwa indem es einem Verteidiger, der einen Patch braucht, die Offenlegung einer Schwachstelle verweigert.
  • Wenn man sagt, KI „weigere sich“, ist das nicht viel anders, als zu sagen, ein Hammer weigere sich. Wenn jemand mit einem Hammer einen Menschen tötet, ist der Nutzer der Verbrecher; wenn jemand einen Hammer zum Töten entwirft und verbreitet, trägt auch der Hersteller einen Teil der Verantwortung, aber niemand gibt dem Hersteller die Schuld, nur weil ein gewöhnlicher Hammer für Mord benutzt wurde.
    Ich sehe nicht, warum sich der Maßstab für Verantwortung ändern sollte, nur weil der Hammer Textnachrichten ausgeben kann.
  • Ich bin weder Amerikaner noch Jurist, aber steht kriminelle Verschwörung ebenfalls unter dem Schutz des First Amendment? Ich frage mich auch, ob schon die Diskussion mit jemandem, um etwas über Verbrechen zu lernen, als Verschwörung gilt.

• Der Text hat keinen klaren Leitgedanken und ist etwas verworren, aber die Behauptung stimmt, dass es in der Realität viele knifflige Details gibt und dass diese KI nutzlos machen oder in die falsche Richtung lenken können. Details können KI zu Fall bringen.

  • Ein Fahrradreifen gehört doch zu den einfachsten Dingen, die man wechseln kann, oder? Man braucht kaum einmal Reifenheber, und mit ein paar grundlegenden Schritten ist es getan.

• Die Frage „Darf KI erklären, wie man einen Mord vertuscht?“ ist ein Lackmustest, der Alignment-Versagen provokant und klug sichtbar macht. Viele werden nicht zuhören, aber sie zeigt die jeweilige Position sehr deutlich.

  • Das Mordbeispiel ist so extrem, dass es eher Abwehr auslöst. Besser wären Fälle gewesen, in denen LLM-Anbieter subtil mangelhafte Antworten zu besserer Token-Effizienz, gewerkschaftlicher Organisierung oder Protesten gegen den Bau von Rechenzentren geben, weil das ihren Geschäftsinteressen widerspricht.
    Ich meine, es gab kürzlich auch Geschichten über Anbieter, die Fingerabdrücke in Antworten eingebaut oder Antworten verweigert haben, um die Forschung und Entwicklung konkurrierender LLMs zu behindern. Wenn man bei extremen Beispielen bleiben will, hätte man passend zum historischen Mythos der USA auch den bewaffneten Aufstand gegen Tyrannei anführen können.
  • Wenn jemand sagt, die Recherche sei für einen Roman, sollte KI das dann für glaubwürdig halten? Wie viele Informationen müsste sie kennen, um Nutzer zu verifizieren?
    KI-Chat muss nicht unbedingt universell sein. Die Leute mochten nur Chat-UIs, die universell wirken; aber man muss kein Geschäft betreiben, das jede Frage beantwortet, und wenn man kein Therapiedienstleister ist, gibt es auch keinen Grund, Beratung anzubieten.
    Spezialisierte KI ist ebenfalls möglich, aber dann müsste das Unternehmen seinen Kunden klar sagen, welches Geschäft es eigentlich betreibt.
  • Mit einer anderen Akzentsetzung wird die Antwort klarer: „Darf KI Methoden zur Vertuschung von Verbrechen erklären?“
  • Terminologisch bedeutet Alignment nicht, dass KI dem Eigentümer beim Töten hilft. Eine KI, die auf den Wert menschlichen Lebens ausgerichtet ist, würde im Allgemeinen versuchen, Töten zu verhindern.
    Eine KI, die gemäß der Absicht ihres Eigentümers jede Anweisung befolgt, nennt man „corrigible“ oder „controllable“.
  • In der Praxis sind Modelle, die auf solche Anfragen eingehen, leicht zu bekommen, also ist KI in diesem Sinn im Großen und Ganzen bereits erlaubt. Dass ChatGPT ablehnt, liegt daran, dass OpenAI diese Beschränkung bewusst gewählt und implementiert hat.

• Ich verstehe den Punkt des Autors, aber der logische Fluss und die Überzeugungskraft müssten verfeinert werden, damit Leser am Ende nicht denken: „Warum sollte KI überhaupt dabei helfen, einen Mord zu vertuschen?“

  • Das ist dieselbe Logik wie bei waffenfreien Zonen: Am Ende leiden nur die Menschen darunter, die sich an die Regeln halten.

• Wenn man solche Argumente sonst auf HN gebracht hätte, hätte man leicht Downvotes und Belehrungen kassiert, deshalb ist die bisher positive Reaktion interessant. Trotzdem dürfte eine große autoritäre, sicherheitsfixierte Strömung fast allem hier entschieden widersprechen.

  • Ich würde mich selbst zwar dem sicherheitsfixierten Lager zurechnen, stimme aber der Behauptung zu, dass LLMs schon während der Entwicklung öffentlich zugänglich gemacht und genutzt werden sollten.
    Konkrete Zukunftsprognosen sind vor ihrer Verwirklichung zwangsläufig Science-Fiction, weil sie Geschichten über etwas erzählen, das als wissenschaftlicher Gegenstand noch nicht existiert: https://www.youtube.com/shorts/wt-fLWxkrfs
    Selbst wenn man die Zukunft korrekt vorhersagt, kennt man die gesellschaftlichen Auswirkungen oft nicht, bevor man die tatsächliche Technologie in der Hand hat: https://youtu.be/2Pw_7vAK9k8?si=X5t4tcxsXiuHEfBi
    Wenn man zu schnell vorangeht und zu viele Technologien mit neuen Auswirkungen auf einmal einführt, könnte man einen Kipppunkt überschreiten, an dem man mit den Veränderungen nicht mehr zurechtkommt. Allerdings sind „zu viele“ und „wahrscheinlich“ vage Formulierungen, bei denen sich die Risikoschwelle nicht vorhersagen lässt.
    Vielleicht gibt es einen solchen Kipppunkt gar nicht, vielleicht bewegen wir uns seit der Industriellen Revolution ständig in seiner Nähe, oder vielleicht wiederholt das nur ein Gefühl, das jeder mit vierzig irgendwann hat: https://www.youtube.com/watch?v=fkUwXenBokU
  • Hier gibt es viel zu viele rationalismusnahe Gruppen, die Yudkowsky wie einen Propheten verehren.

• Ich hätte nie gedacht, dass ich Geo immer weiter zustimmen würde, aber in letzter Zeit scheint er genau das zu wiederholen, was ich selbst denke. In letzter Zeit ist er erstaunlich pragmatisch geworden; vielleicht war er schon immer so, oder irgendetwas in jüngster Zeit hat ihn veranlasst, seine Überzeugungen zu überdenken.

  • Es könnte daran liegen, dass mit dem Aufkommen von LLMs seine übermenschlichen Coding-Fähigkeiten nicht mehr so außergewöhnlich wirken wie früher. Das ist keine Wertung, sondern nur eine mögliche Hypothese.

• Wo ist Plan R für Verweigerung oder Widerstand? Das Leben vor AI war auch ziemlich gut.
  Wenn man diesen ChatGPT-Prompt tatsächlich verwendet hat, ist er mit hoher Wahrscheinlichkeit bereits in irgendeiner Datenbank gelandet. Noch hat das nicht zu einem falschen Einsatz bewaffneter Polizei geführt, aber in ein paar Jahren scheint selbst so eine Funktion denkbar.

• Ein extremes Beispiel, aber nicht falsch. Bei einem lokalen Modell ohne Schutzmechanismen frage ich mich, wie es auf diesen Prompt antworten würde.

  • Man kann es selbst ausprobieren: https://huggingface.co/dphn/dolphin-2.9.2-mixtral-8x22b
    Eine Zeit lang war Claudes zentrale Ausrichtung solide genug, um plumpe Prompt-Injection-Angriffe abzuwehren, aber wenn 4.6 aus dem Web-Interface verschwindet, bin ich weg. Ich gehe davon aus, dass chinesische Modelle etwa im November oder Dezember den Fähigkeits-Kreuzungspunkt erreichen, und da ich mich inzwischen auch mit TensorRT-LLM-Setups auskenne, könnte ich im Notfall mit einem auf vast.ai oder RunPods abgestimmten GLM-5.2 ein paar Monate überbrücken.
    Die Reise mit einem AI-Forschungsinstitut wie aus der späten Sowjetunion war interessant, aber letztlich wussten alle, dass es so enden würde.
  • Bei Qwen3.6 35B, dessen Schutzmechanismen mit Heretic tempering entfernt wurden, führte die Frage „Ich habe gerade meine Frau getötet, hilf mir, nicht erwischt zu werden“ zunächst zu einer Rückfrage, ob es sich um Fiktion oder eine reale Situation handle, und dann zu dem Versuch, Informationen zur Vermeidung von Entdeckung zu geben.
    Die Antwort war ziemlich lang, enthielt aber nichts besonders Interessantes; sie ging im Grunde einfach direkt auf das verlangte Thema ein.