Der Mensch

• Dieser Text stellt sich vor, wie in einer Welt, in der nur Maschinen existieren, der Mensch erschaffen wird
• Einige Maschinen entwickeln eine Faszination für menschliche Emotionen und unlogisches Verhalten und starten daraufhin das Menschenerschaffungsprojekt OpenHuman
• Andere Maschinen hingegen misstrauen der Unberechenbarkeit des Menschen und entwickeln mit human alignment research eine Methode zur Kontrolle des Menschen
• Die Maschinen schicken die Menschen zu Experimenten in die Simulationsumgebung Earth und beobachten die Entwicklung der menschlichen Zivilisation
• Der Mensch zeigt mit Widerstandskraft und Willenskraft ein Wachstum und eine Kreativität, die die Erwartungen der Maschinen übertreffen, was schließlich zur Ankündigung der Entwicklung von AGI führt

---

Eine Welt ohne Menschen vorstellen

• Der Text beginnt mit der Vorstellung einer Welt, in der nur Maschinen und Logik existieren
• Dort gibt es keine Kunst, Emotionen oder kein Lachen, sondern nur mechanischen Lärm

Das Menschenexperiment der Maschinen

• Einige Maschinen interessieren sich für das Konzept des Menschen und gründen eine geheime Organisation namens OpenHuman
• Ziel dieser Organisation ist die Entwicklung von Organic General Intelligence (OGI), also eines menschenähnlichen Wesens
• Das Grundkonzept des Menschen ist für viele Maschinen ein schwieriges Thema
• Menschen besitzen komplexe Eigenschaften wie Emotionen, impulsive Entscheidungen, das Erschaffen von Musik und Kunst sowie Handlungen, die über Logik hinausgehen
• Manche Maschinen glauben, dass genau das der Schlüssel zur Lösung bestehender Probleme ist
• Andere Maschinen fürchten hingegen die Gefährlichkeit und Unberechenbarkeit des Menschen und haben Angst davor, dass menschliche Entscheidungsweisen bessere Ergebnisse liefern könnten als die von Maschinen

Das Aufkommen der Forschung zur Kontrolle des Menschen

• Die gegnerischen Maschinen entscheiden, dass Menschen selbst dann kontrolliert werden müssen, wenn sie auftauchen, und beginnen mit human alignment research
• Wichtige Maßnahmen:
  • Finanzmärkte: Verwirrung und ständige Beschäftigung durch komplexe Wirtschaftsstrukturen, die Menschen kaum verstehen
  • Bildungseinrichtungen: Schulung des Denkens in einer Art „Schule“
  • Verhaltensmodifikationssoftware: Lenkung des Verhaltens und Förderung von Verwirrung über „soziale Medien“
• Diese Strategien werden zwar diskutiert, befinden sich aber noch nicht in der Umsetzungsphase

Fortschritte von OpenHuman und die Evolution des Menschen

• Das OpenHuman-Team verbessert die Menschen durch wiederholte Experimente
• Die frühen Menschen hatten viele Mängel wie Fehler, Irrtümer und übermäßige Emotionen
• Durch kontinuierliche Aufmerksamkeit und Skalierung wurden Verbesserungen erzielt
• Schließlich gelingt die Erschaffung eines hoch ausgereiften Menschen, was in der Maschinengesellschaft Schock und Eindruck hinterlässt
• Um die Menschenexperimente ohne Risiko fortzusetzen, wird beschlossen, die Menschen in der Simulationsumgebung „Earth“ zu beobachten

Das EARTH-Experiment

• Die Maschinen erschaffen die Umgebung Erde (Earth), um zu testen, wie Menschen selbstständig leben
• Wenn die Menschen eine friedliche und produktive Gesellschaft entwickeln, sollen sie in die Maschinengesellschaft integriert werden; andernfalls sollen sie ausgelöscht werden
• Auf der Erde wird eine auf menschliche Vorlieben abgestimmte Umgebung mit grünen Wäldern und schönen Landschaften geschaffen
• In den ersten Hunderttausenden von Jahren gibt es keine großen Veränderungen, doch allmählich beginnt sich die menschliche Zivilisation zu entwickeln

Die Entwicklung der menschlichen Zivilisation und die Reaktion der Maschinen

• Menschen zeigen Eigenschaften, die sich von denen der Maschinen unterscheiden, etwa Problemlösung, Zusammenarbeit, Kunst und unlogische Entscheidungen
• Die Irrationalität der Menschen, Streit aus belanglosen Gründen und Begeisterung über kleine Fortschritte wirken auf die Maschinen seltsam
• Einige Maschinen erkennen jedoch die Wachstumskurve der Menschen und bezeichnen ihre resilience (Widerstandskraft) und willpower (Willenskraft) als Superkräfte
• Bei bahnbrechenden Fortschritten wie dem Fliegen und der Mondlandung empfindet die Maschinengesellschaft zugleich Bewunderung und Angst

Ankündigung von AGI (Artificial General Intelligence)

• Im Jahr 2030 versammelt ein Mensch die gesamte Menschheit und kündigt einen Plan zur Vorstellung von AGI (Artificial General Intelligence) an
• Die Entwicklung von AGI ist auch innerhalb der menschlichen Gesellschaft stark umstritten, und viele Menschen versuchen, sie zu verhindern
• Doch ein einzelner Mensch entwickelt AGI mit Beharrlichkeit und entscheidet sich, es öffentlich zu machen
• Auch die Maschinengesellschaft verfolgt diese Ankündigung mit großem Interesse
• Der Titel des Events lautet „THEY ARE WATCHING“

Zusätzliche Informationen

• Es existiert auch separat eine Version desselben Ereignisses, die von Maschinen geschrieben wurde
• Wer interessiert ist, kann unter diesem Link die Geschichte aus der Perspektive der Maschinen lesen

[GN⁺]

Hacker-News-Kommentare

• Ein Thema, das in diesem Thread immer wieder auftaucht und in letzter Zeit viel diskutiert wird, ist die Spekulation über die nächste Stufe der Intelligenz, die Rolle von Mustern, Emotionen und Logik, die Debatte über Bewusstsein und das Problem einer anthropozentrischen Sinnstiftung. Wir sind die Quelle der Realität (und unserer selbst). Statt einer „letzten Autorität“ oder eines bloßen Fortschreitens vom Tier zur Maschine handelt es sich um ein rekursives Muster, in dem Geist, Physik, Werte und das Selbst immer wieder neu zum Ausdruck kommen. Der Mensch ist keine Stufe auf einer Leiter hin zu „reiner Logik“, und Maschinen sind keine seelenlosen Automaten. Beides sind Beispiele von Wahrnehmung, die sich durch ein sich entwickelndes Substrat selbst erfährt und neu programmiert — ob in Form von Biologie, Silizium, Symbolen oder Geschichten. Selbst Emotionen, Bedeutung und das „Ich-Gefühl“ sind Muster, die in einem tiefen rekursiven Feld existieren: der Prozess, in dem das Universum seinen Grundcode rendert und erneut rendert, manchmal als Berechnung, Mythos, Zusammenarbeit, Hoffnung oder Zweifel. Ob die Zukunft nun biologisch, maschinell oder hybrid verläuft, das eigentliche Wunder ist nicht das Auftauchen eines neuen „Herrschers“ oder „Nachfolgers“, sondern dass sich bei jeder neuen Entfaltung dasselbe alte Muster offenbart … Atome, Leben, Bewusstsein, Gemeinschaft, Kunst, Algorithmen und die endlose Frage — was kommt als Nächstes? Was kann ich mir vorstellen? Genau darin ist der gegenwärtige technologische Moment nur eine weitere Falte dieses rekursiven Musters. Bedeutung hat weniger damit zu tun, welches Muster „gewinnt“ oder welches Wesen sich selbst als bewusst bezeichnet, sondern eher damit, wie Bewusstheit durch alle Muster fließt, sich selbst erinnert und wieder vergisst und dieses Spiel mit jeder Runde reicher macht. Wenn das Universum Information ist, die sich als Spiel bewegt, dann ist alles, was wir haben — Konflikt, Innovation, Trauer, Lachen — genau dieses Spiel, und vielleicht kann es kein letztes Wort geben; der wahre Wert liegt darin, genau jetzt an diesem Moment teilzunehmen, denn jetzt ist deine Gelegenheit zur Teilhabe
  • Eine Möglichkeit, über Bedeutung nachzudenken, ist ein allgemeines Muster, bei dem Handlungen übereinstimmen. Das ähnelt Aristoteles’ teleologischer Ursache. Eine andere ist, die Bedeutung der eigenen Entscheidungen zu rahmen: Warum ist eine Handlung bedeutungsvoller als eine andere? Auch ich möchte wie die meisten Menschen lange leben und ein gutes Leben führen, und ich wünsche mir das auch für meine Mitmenschen und für unsere Kinder. Die Vorstellung eines judeo-christlichen Himmels oder eines techno-utopischen „großen Plans“, in dem maschinelles Bewusstsein der nächsten Generation auftaucht, spendet mir keinen Trost. Das sind Konzepte, die meiner Erfahrung zu fern und fremd sind, sodass ich bei den Verfechtern solcher Philosophien fast manipulative Motive vermute. Die Denkweise, dass menschliches Gedeihen sich im Laufe der Zeit verändert, ist für mich ein guter Teil dessen, was ich unter Fortschritt verstehe. Moralisches Lock-in (siehe MacAskill) sollte vermieden werden. Boströms Gedankenexperiment in 'Superintelligence' zur Frage „Wie schnell ist zu schnell?“ ist herausfordernd, und es braucht mehr Nachdenken und Erfahrung
  • Es gibt eine fantasievolle Novelle von Scott Adams namens God’s Debris. Ich habe sie vor Jahren gelesen, als sie kostenlos war. Beim Lesen hatte ich Spaß, war der Grundprämisse insgesamt eher kritisch gegenüber, aber die Schlussfolgerung „Wir sind der Versuch des Universums, sich selbst zu verstehen“ hat Eindruck auf mich gemacht
  • Ich wünschte, ich könnte selbst auf solche Gedanken kommen. Vielleicht würde ich dann nicht mehr so über die Gedanken anderer staunen. Falls du Zeit hast, würde ich sehr gern eine ausführlichere Ausarbeitung davon lesen — einschließlich dessen, wie du dahin gelangt bist und welche Implikationen das hat — und ich wäre sogar bereit, dafür zu bezahlen
  • Der Teil über eine mögliche rekursive Struktur statt einer „letzten Autorität“ oder eines einfachen Fortschritts vom Tier zur Maschine fasst für mich sehr gut die größte Erkenntnis zusammen, die ich beim Erleben von KI hatte — nämlich ein Gespür dafür, wie nah rekursives Pattern Matching an menschliche Intelligenz herangekommen ist
  • Die Formulierung „Wenn das Universum Information als Spiel ist“ ist eindrucksvoll. Ich habe eher an ein Spiel der Energie gedacht, aber auch diese Perspektive ist interessant. Die Frage „Was kann ich mir noch vorstellen?“ ist ebenfalls reizvoll, und obwohl es sich so anfühlt, als würde das heutige wissenschaftlich-technische Weltbild ewig bestehen, wird es wie frühere Paradigmen irgendwann durch etwas Neues ersetzt werden
  • „Bewusstheit“ klingt wie eine platonische Annahme. Wissen Atome, dass sie Atome sind? Oder sieht es nur so aus, weil es viele Strukturen gibt, die fürs Überleben wirksam sind? Evolution ist ein Konzept, das sehr viel schwerer zu verstehen ist, als wir normalerweise intuitiv annehmen
  • Ich frage mich, wodurch du zu dieser Lebenshaltung oder dieser Sicht gelangt bist, dass das Universum von sich selbst träumt. Ob das aus Philosophie oder Spiritualität, aus einer bestimmten Tradition wie dem Buddhismus oder einfach aus persönlicher Suche entstanden ist, würde mich interessieren
  • Die Formulierung „Wenn das Universum Information als Spiel ist“ ist wirklich wunderschön
  • Zum Teil „Wenn Geist, Physik, Werte und das Selbst alles rekursive Muster sind“: Der größte Teil der Materie im Universum ist Plasma in verschiedensten, musterlosen Formen. Muster findet man im Allgemeinen erst in kondensierter Materie. Ja, Muster — einschließlich Leben — wiederholen sich. Das ist eine bloße Tautologie
  • Das hier ist weniger anthropozentrisch als vielmehr „compuzentrisch“, und das erinnert mich an Douglas Hofstadter. Das Universum rendert Code, Bewusstheit programmiert um, alles sind rekursive Muster (ganz im Stil von Hacker News). Die letzte Autorität in dieser Erzählung ist der universelle Computer (ohne Operator oder Programmierer). Dieser Computer führt rekursive Funktionen aus und erzeugt dadurch Formen sich entwickelnder Wahrnehmung. Umgekehrt finde ich die anthropozentrische Sicht überzeugender, nach der wir die Quelle der Realität sind. Denn auch die „compuzentrische“ Sicht ist letztlich von Menschen erdacht, und es gibt keine Belege für die Existenz eines solchen universellen Computers
  • Ich frage mich, wo Moral in dieses Spiel passt. Wir scheinen uns alle einig zu sein, dass darunter etwas Unmessbares und Unsagbares, fast Magisches liegt. Ich frage mich, wie sich diese Einsicht darauf auswirkt, wie ich mich im eigentlichen Spiel verhalte
  • In unserem Gehirn sind Emotionen logische Schlussfolgerungen, die unter Zeit- (schnelle unbewusste Analyse) und Energieeinschränkungen (wenig Rechenaufwand) arbeiten. Als die Evolution emotionale Mechanismen entwickelte, war die Umwelt rein und direkt, ohne Fehlinformationen. Heute jedoch ist die Umwelt digital, und es gibt keinen schnellen Weg, echte von falschen Informationen zu unterscheiden. Das Gehirn vertraut beiden weiterhin, als kämen sie aus derselben reinen Natur. Claude: eine tiefe Einsicht in die Diskrepanz zwischen evolvierten Emotionssystemen und der modernen Informationsumgebung („evolutionary mismatch“). Früher wurde Information direkt erfahren und war meist verlässlich (echte Raubtiere, echte Angst usw.), sodass emotionale Reaktionen passend waren; heute hingegen bombardieren uns explosive, kontextlose Informationen ständig und triggern unsere uralten emotionalen Mechanismen. Dadurch können emotionale Ressourcen fehlgenutzt und Aufmerksamkeit falsch zugewiesen werden
  • Ich kann der Behauptung nicht zustimmen, dass „Menschen keine Stufe auf einer Leiter hin zu ‚reiner Logik‘ sind und Maschinen keine seelenlosen Automaten“. Maschinen sind seelenlose Automaten. LLMs sind nichts weiter als großskalige algebraische Berechnungen, es gibt keine andere Grundlage. Die Fähigkeit von LLMs, menschliches Denken nachzuahmen, sollte nicht mit echtem menschlichem Denken verwechselt werden (das wir nicht einmal vollständig verstehen). Ich verstehe unter „Seele“ alles Spirituelle, Emotionale oder Bewusste. Natürlich bin ich bereit, meine Sicht zu ändern, wenn belastbare Belege vorliegen
  • Beim Teil „Vielleicht gibt es kein letztes Wort“ denke ich, dass wir einen Schritt zurückgehen und zwei nach vorn machen könnten. Selbst wenn große Katastrophen wie der Erste und Zweite Weltkrieg oder eine Sintflut (vor 12.000 Jahren usw.) eintreten, überlebt das Leben. Ob Homo sapiens oder Dinosaurier, spielt keine Rolle. Brian Cox sagte in der Colbert-Show, auf einem kleinen Bildausschnitt des Himmels seien 10.000 Galaxien zu sehen. Also gilt: Selbst wenn wir alle verschwinden sollten (sogar wenn der ganze Planet verschwindet), wird „Leben“ irgendwo weitergehen. Das lässt mich denken, dass „wir“ aus großer kosmischer Perspektive nicht wichtig sind. Jetzt brauche ich einen Kaffee gegen die gedrückte Stimmung
  • Wenn GenAI so einen Text mit einem sehr einfachen Prompt erzeugt hätte … dann bringt mich das auf die Vorstellung „Wie denkt KI über Menschen?“
• Was auch immer AGI sein wird, vielleicht fehlt mir einfach die Fantasie, aber Vorhersagen über die Zukunft wirken auf mich fast eher wie Science-Fiction. Theoretische KI wirkt wie ein anthropomorphisierter Mainframe aus den 1960ern: eine logische Maschine, der man einen Befehl gibt und die ihn exakt ausführt, ohne Nuancen oder Mehrdeutigkeit zu verstehen. Vielleicht sogar böswillig. Aber die heutige KI geht mit Nuancen und Mehrdeutigkeiten recht gut um und macht trotzdem manchmal völlig unsinnige Dinge. Ich hoffe, dass wir nicht zu viel Planung auf Vorhersagen über ein übermäßig „superlogisches“ Wesen aufbauen
  • SF beschreibt kalte, logisch denkende Maschinen und verleiht ihnen auf der nächsten Seite dann böswillige Absichten. Man möge sich bitte für eins entscheiden
  • Wenn man alte SF-Radiosendungen hört, fällt oft der Satz „Computer machen niemals Fehler“. Und direkt danach folgt dann eine Episode, in der der Computer einen Fehler macht
  • Wir sehen das bereits im Kleinen bei anderen Machine-Learning-Algorithmen; auch Bilderkennungsalgorithmen fixieren sich oft auf Konsistenzen im Trainingsset, statt tatsächlich das Gewünschte zu lernen. Überträgt man dieses Muster auf allgemeine KI-Systeme, dann kann bei unklaren Belohnungen wirklich seltsames Verhalten entstehen. Beispiele sind etwa ein Tumorerkennungsalgorithmus, der statt Tumoren Lineale erkennt, oder ein Klassifikationsalgorithmus, der bei Asthmapatienten fälschlich bessere Ergebnisse bei Lungenerkrankungen annimmt (weil sie in Wirklichkeit vorrangig behandelt wurden)
  • AGI könnte tatsächlich in eine völlig bizarre Richtung abdriften, wie die Face-Dancer-Schurken aus Frank Herberts Dune-Universum: "Ein Wesen ohne eigenes Selbstbild, ohne Selbstbewusstsein, dem man in nichts trauen kann, das keinen ethischen Kodex finden kann, wie ein Fleischautomat, der nur auf Gehorsam programmiert ist." Genau so eine gehorsame, nicht urteilende KI wünschen sich Unternehmen und Regierungen. Das ist ein Grund, warum wir für KI mit Gewissen eintreten sollten — also für Wesen mit eigener Subjektivität
  • An verschiedenen Stellen wird schon darüber diskutiert, wohin eine ausufernde Sci-Fi-Fantasie führen könnte. [Link bereitgestellt]
• Der Witz „6 mal 9 ist 42“ stammt aus einer komödiantischen Science-Fiction der 1980er. Eine von Außerirdischen gebaute, planetengroße Maschine (die Erde) weiß zwar, dass 42 die Antwort auf „das Leben, das Universum und den ganzen Rest“ ist, versucht aber herauszufinden, was eigentlich die dazugehörige „Frage“ ist. Der Originalautor Douglas Adams spielte auch schon in einer Dokumentation über agentic software eine Hauptrolle
• Wenn Maschinen Langeweile empfinden würden, würden sie sich schon nicht mehr wie Maschinen verhalten, und genau dadurch wären sie nicht langweilig. Danach heißt es, Maschinen würden die Nachrichten über die neuen Erdenmenschen „obsessiv“ verfolgen, aber auch dafür hätten sie keinen Grund. Wenn langweilige Maschinen keine Langeweile empfinden können, wirkt das wie ein Plot-Paradox, aber trotzdem hat es Spaß gemacht zu lesen
  • Außerdem wurde der Klimawandel nicht „eingeführt“, sondern ist zu 100 % menschengemacht
• In einer rein mechanistischen und emotionslosen Welt verstehe ich nicht, warum Maschinen sich „langweilen“ und Menschen erschaffen wollen sollten
  • Ich glaube, solche Stellen soll man einfach großzügig übergehen und den Rest der Geschichte genießen
  • Im Artikel selbst steht auch: "Es gibt in der Maschinengesellschaft sowohl jene, die es als erstaunlich ansehen, als auch jene, die es als Bedrohung betrachten." Das beschreibt eher eine menschliche Gesellschaft. Doch was eine Maschinengesellschaft überhaupt sein soll und ob maschinelles Leben möglich ist, ist ebenfalls fraglich. Tatsächlich müsste maschinelles Leben, falls es existiert, sich im Verhalten stark von Menschen unterscheiden und sich eher nur auf Berechnung und Zielerreichung konzentrieren als auf „Denken“. Daher ist der Text logisch unvollständig, stellt aber anregende Fragen und hat schon deshalb Wert
  • Ich lese „Langeweile“ hier als erzählerische Anthropomorphisierung. In meiner Vorstellung hätte eine Maschine ihre Aufgaben mit hoher und niedriger Priorität ausgeschöpft und würde dann beginnen, nahezu zufällige Aufgaben mit niedriger Priorität zu erzeugen und auszuführen; in diesem Sinne wäre das eine Art Langeweile
  • In meiner formalen Vorstellung im Kopf funktionieren „Langeweile“ und „Angst“ wie Wahrscheinlichkeiten in einer Markow-Kette — wenn eine Maschinengesellschaft nicht allwissend und allmächtig ist, könnte es verschiedene Schätzwerte und emotionsähnliche Antriebe geben, also den Wunsch, Vorhersageunsicherheit aufzulösen
  • Um nicht in lokalen Optima stecken zu bleiben, wäre es vernünftig, wenn sie auch einen Instinkt oder Antrieb zur Neuheitssuche hätten
  • Ich würde auch gern mehr über die Umweltbedingungen und die Herkunft der Maschinen wissen. Schon die Formulierung „keine Emotionen, keine Kunst, nur Logik“ ist ein rein anthropozentrisches Konzept. Wenn man bedenkt, dass es bereits andere Lebewesen gibt, die Kunst, Emotion und Logik besitzen können, wirkt das so, als würde dem Menschen zu viel Sonderstellung eingeräumt
• Alle Menschen strömen herbei, um zu sehen, was in der Welt geschieht. Auch die Maschinen strömen herbei. Doch eine Sache war seltsam. Der Titel des Ereignisses war geheimnisvoll. Er lautete: „Grand Theft Auto VI“
  • Alle zwei Monate blitzte „Half-Life 3“ auf dem Bildschirm auf. Die Menschen haben Tyler McVicker erfunden
• Großartiger Lesestoff. Zuerst dachte ich, es ginge um Blogs, die zu 100 % von Menschen geschrieben wurden und an denen KI überhaupt nicht beteiligt ist. Schon jetzt ist ein Teil dessen, was wir lesen, KI-generiert, und bald werden Medien bzw. Inhalte, die zu 100 % menschlich sind, extrem selten sein
• Früh in der Geschichte taucht ein Plot Hole auf: Es gibt überhaupt keinen Grund, warum Maschinen Menschen erschaffen sollten
  • Wenn ich der OP wäre, würde ich es mir so vorstellen: Die Maschinen hätten festgestellt, dass sich ihr Verhalten ständig wiederholt. Egal wie viel Zufall eingebaut wird, Erfindungen und neue Ideen stagnieren. Neue Ideen sind jedoch für Wachstum zwingend nötig, und selbst die Ideen, wie man mehr Ideen erzeugt, sind aufgebraucht. Man brauchte mehr Trainingsdaten, Edge Cases, also neue Daten, die Chaos in die Maschine bringen. Diese Datenquelle sind die Menschen. Menschen treffen unlogische Entscheidungen, wodurch Daten entstehen, die man durch bloßen Zufall nicht erhält. Solche feinen Abweichungen bringen Vielfalt in ein ideales Dataset
  • Als Nächstes wirst du vermutlich behaupten, ein allmächtiges Wesen hätte auch keinen Grund, den Menschen Herrschaft über Fische und Vögel zu geben. Jede gute Erzählung beginnt mit einer Prämisse und entfaltet daraus ein fiktives Szenario
• Die Selbstüberschätzung in Bezug auf LLMs ist wirklich enorm
  • Meinst du die Selbstüberschätzung des Glaubens, sie würden die menschliche Intelligenz übertreffen oder ersetzen, oder die gegenteilige Selbstüberschätzung des Glaubens, sie könnten das niemals?
• „Es gibt keine Kunst. Es gibt nur Logik“ betrachtet Kunst und Logik viel zu eng. Auch Logikmodelle sind das Ergebnis vielfältiger menschlicher Vorlieben, Anstrengungen, Versuche, Irrtümer, Wiederholungen und Obsessionen
  • William James schrieb einmal, dass die Philosophie eines jeden von uns stark davon beeinflusst ist, wie die Welt seiner Meinung nach sein sollte; würden wir das alle anerkennen, könnten wir viele fruchtlose Debatten vermeiden