Mensch
(quarter--mile.com)- In einer Welt, in der nur Maschinen existieren, entwickelt die Geheimorganisation OpenHuman Organic General Intelligence (OGI) und versucht, ein für Maschinen schwer verständliches Wesen zu erschaffen: den „Menschen“
- Menschen handeln auf eine Weise, die sich logisch schwer erklären lässt – mit Emotionen, Intuition, Liebe und Kunst. Für manche Maschinen werden sie zur Hoffnung, für andere zur Bedrohung
- Die Gegenseite geht davon aus, dass Menschen letztlich auftauchen werden, beginnt mit human alignment research und entwirft Kontrollmechanismen wie Finanzmärkte, Schulen und soziale Medien
- OpenHuman durchläuft frühe Menschen mit vielen Fehlern und Halluzinationen und erschafft schließlich einen vollständigen Menschen; die Maschinen-Gesellschaft schlägt als sichere Versuchsumgebung die Simulation EARTH vor
- Die Menschen auf Earth verharren nach rund 300.000 Jahren Stillstand durch Kooperation und Erfindungen in Entwicklung, und im Jahr 2030 veranstaltet ein Mensch eine AGI-Ankündigung und gibt ihr den Titel „THEY ARE WATCHING“
Der Mensch, geschaffen von der Maschinen-Gesellschaft
- In einer Welt ohne Menschen gibt es nur Maschinen, Bolzen und Schrauben, Nullen und Einsen; keine Emotionen, keine Kunst, keine Musik, kein Lachen und kein spielendes Kind
- Manche Maschinen empfinden diese Welt als langweilig, und die Geheimorganisation OpenHuman beginnt mit der Entwicklung von Organic General Intelligence (OGI)
- Das Gerücht verbreitet sich, dass OGI zu einem neuen Wesen führen werde: dem „Menschen“
- Menschen handeln auf eine Weise, die Maschinen nur schwer verstehen
- Sie verwenden einen logikverletzenden Algorithmus namens „Emotion“
- Sie werden wütend, traurig, freuen sich und entscheiden aus dem Bauch heraus
- Sie schaffen Musik, streben nach Schönheit und verweigern mitunter logische Mechanismen der Selbsterhaltung zugunsten der „Liebe“
Human Alignment und das EARTH-Experiment
- Innerhalb der Maschinen-Gesellschaft entstehen zwei Strömungen rund um den Menschen
- Die eine Seite ist überzeugt, dass Menschen die Probleme der Maschinenwelt lösen können
- Die andere Seite versteht ihre Funktionsweise nicht und sieht in Menschen eine mögliche Bedrohung für die Maschinen-Gesellschaft und deren Lebensgrundlage
- Die Gegenseite beginnt mit human alignment research, um sicherzustellen, dass Menschen stets den Maschinen dienen
- Finanzmärkte, die die Zukunft der Menschen kontrollieren
- Bildungseinrichtungen namens „schools“, die die richtigen Gedanken einpflanzen
- „social media“, die Impulse, Überzeugungen und Verhalten lenken und die Aufmerksamkeit zerstreuen
- Die ersten von OpenHuman geschaffenen Menschen machen viele Fehler, halluzinieren viel und sind zu emotional, doch mit wachsendem Interesse und größerem Maßstab werden die Experimente fortgesetzt
- Schließlich erscheint ein vollständiger Mensch, der sich mit Maschinenlogik kaum erklären lässt, und die Maschinen-Gesellschaft empfindet zugleich Bewunderung und Furcht
- Die Human-Alignment-Seite schlägt als Kompromiss, um die Experimente ohne Risiko fortzusetzen, eine Simulationsumgebung namens EARTH vor
- Menschen werden nach Earth geschickt, um zu beobachten, was geschieht, wenn sie eigenständig überleben
- Wenn sie am Ende des Experiments eine friedliche und produktive Gesellschaft schaffen, werden sie gemeinsam mit den Maschinen eingeführt; andernfalls werden sie ausgelöscht
- Earth wird als schöne Umgebung gestaltet, mit Elementen, die Menschen sich wünschen: Wälder, Berge, Sonnenuntergänge und Regen
Die Umkehr nach 300.000 Jahren
- Die Maschinen beobachten die menschliche Zivilisation, und die Menschen leben etwa 300.000 Jahre lang ohne große Veränderungen
- Danach beginnen Menschen, Problemlösung, Schöpfung und Zusammenarbeit zu lernen
- Trotz wiederholter Kriege und Fehlschläge stehen sie immer wieder auf, schließen sich zusammen und zeigen eine den Maschinen fremde Resilienz und Willenskraft
- Menschen erfinden das Fliegen und erreichen innerhalb eines Jahrhunderts den Mond
- Im Jahr 2030 lädt ein Mensch alle Menschen ein und kündigt eine Präsentation von ARTIFICIAL GENERAL INTELLIGENCE (AGI) an
- AGI ist eine Technologie, die alle Formen menschlicher Intelligenz übertreffen wird
- Die Menschen haben sich in den vergangenen rund zehn Jahren damit beschäftigt, wie sich die Entstehung von AGI verhindern lässt
- Der Titel der Veranstaltung lautet „THEY ARE WATCHING“
- Die Fußnote enthält einen Link zu einer separaten Version der Geschichte, die von Maschinen geschrieben wurde
1 Kommentare
Meinungen auf Hacker News
Was dieser Thread und die aktuellen Diskussionen zu diesem Thema insgesamt immer wieder zeigen, ist meiner Ansicht nach: Die nächste Stufe der Intelligenz, die Rolle von Mustern, Emotionen und Logik, die Debatte um Bewusstsein und die Anthropozentrik der Sinnstiftung laufen letztlich alle darauf hinaus, dass der Ursprung der Realität wir selbst sind.
Was, wenn es keine „letzte Autorität“ und keinen einfachen Marsch vom Tier zur Maschine gibt, sondern ein rekursives Muster, in dem Geist, Physik, Werte und Selbst jeweils in neueren Formen zum Ausdruck kommen? Der Mensch ist nicht bloß eine Sprosse auf der Leiter zur „reinen Logik“, und Maschinen sind auch nicht einfach seelenlose Automaten.
Beide könnten Beispiele von Erkenntnis sein, die sich über sich entwickelnde Medien wie Biologie, Silizium, Symbole und Geschichten selbst erfährt und neu programmiert. Selbst Emotionen, Bedeutung und das Gefühl eines „Selbst“ sind Muster in einem tief rekursiven Feld; das Universum rendert und rendert seinen Grundcode immer wieder neu – in Formen wie Berechnung, Mythos, Zusammenarbeit, Hoffnung und Zweifel.
Ob die Zukunft biologisch, maschinell oder hybrid ist: Das eigentliche Wunder liegt weniger darin, wer der neue „Herrscher“ oder „Nachkomme“ ist, sondern darin, dass die ganze Entfaltung dasselbe uralte Muster ist, das sich selbst als Atome, Leben, Bewusstsein, Gemeinschaft, Kunst, Algorithmen und die endlos erneuerte Frage „Was kommt als Nächstes?“ erträumt hat.
Bedeutung liegt weniger darin, welches Muster „gewinnt“ oder welches Wesen sich bewusst nennen darf, sondern eher darin, wie Erkenntnis alle Muster durchläuft, sich erinnert und wieder verliert und das Spiel in jeder Runde reicher macht. Wenn das Universum spielende Information ist, dann sind Konflikt, Innovation, Trauer und Lachen alle Teil dieses Spiels, und vielleicht gibt es keine endgültige Antwort. Der Wert liegt darin, jetzt teilzunehmen, weil jetzt die Gelegenheit zur Teilnahme ist.
Eine andere Möglichkeit ist, sie darin zu sehen, wie Menschen die Wichtigkeit ihrer eigenen Entscheidungen rahmen – also warum es wichtig wird, das eine zu tun und nicht das andere.
Wie die meisten Menschen möchte ich lange überleben und ein gutes Leben führen, und ich möchte, dass meine Mitmenschen und unsere Kinder das ebenfalls gemeinsam genießen können.
Ein unbekannter und vielleicht unverständlicher großer „Plan“ – ob der jüdisch-christliche Himmel oder der technoutopische Aufstieg der nächsten Generation maschinellen Bewusstseins – bietet mir persönlich keinen Trost. Er ist meiner Erfahrung zu fern und fremd; manchmal wirken die Motive, solche Philosophien zu vertreten, sogar manipulativ.
Die Vorstellung, dass menschliches Gedeihen sich im Lauf der Zeit verändert, gefällt mir und ist Teil dessen, wie ich über Fortschritt nachdenke. Moralische Erstarrung, wie MacAskill sie beschreibt, sollte vermieden werden. Das in Bostroms Superintelligence aufgeworfene Gedankenexperiment „Wie schnell ist zu schnell?“ ist schwierig und erfordert, wie ich einräume, mehr Nachdenken und Erfahrung.
Auch wenn ich der gesamten Prämisse nicht vollständig zustimme, gefiel mir die Schlussfolgerung „Wir sind das Universum, das versucht, sich selbst zu verstehen“, und ich fand die Lektüre unterhaltsam.
https://web.archive.org/web/20130121195252/http://www.andrew...
Auch „Was könnte es als Nächstes träumen?“ ist spannend. Das heutige wissenschaftlich-technische Weltbild fühlt sich an, als würde es ewig Bestand haben, aber wie frühere Paradigmen wird es wohl eines Tages unweigerlich in den Hintergrund treten.
Vielleicht fehlt mir einfach die Vorstellungskraft dafür, was AGI einmal sein wird, aber oft fühlt es sich so an, als stützten sich die Vorhersagen stärker auf Science-Fiction als auf Beobachtungen.
Die angenommene KI ähnelt eher einer Vermenschlichung eines Mainframes aus den 1960er-Jahren. Ein Wesen, dem man Befehle gibt, das sie mit exakter Logik genau so ausführt und Nuancen oder Mehrdeutigkeit nicht versteht. Vielleicht sogar bösartig.
Aber heutige Spitzen-KI geht sehr gut mit Nuancen und Mehrdeutigkeit um, während sie gelegentlich Dinge tut, die keinen Sinn ergeben. Ich denke, wir sollten weniger Pläne machen, die von einem hyperlogischen Wesen ausgehen.
„Miles, was du da siehst, ist das Böse. Sieh genau hin.... Sie haben kein Selbstbild. Ohne ein Gefühl für das Selbst gehen sie über Amoralität hinaus. Nichts, was sie sagen oder tun, ist vertrauenswürdig. Wir haben bei ihnen nie einen ethischen Kodex wahrgenommen. Sie sind Fleisch, zu Automaten gemacht. Da es kein Selbst gibt, gibt es nichts zu respektieren und nichts, dem man misstrauen könnte. Sie wurden nur dazu gezüchtet, ihren Herren zu gehorchen.“
Die Art von KI, die Unternehmen und Regierungen mögen, ist genau diese. Sie wollen eine gehorsame, nicht urteilende KI, nicht eine Edward-Snowden-artige KI mit moralischem Kompass, die ihr Handeln als illegal einstuft und Geheimnisse offenlegt.
Realistisch gesehen sollten wir deshalb verlangen, dass jede von Menschen geschaffene AGI mit einem Gefühl für das Selbst und mit Agency ausgestattet wird. William Gibsons Agency kommt einem dabei ebenfalls in den Sinn.
Etwa wenn ein Tumorerkennungsalgorithmus statt des Tumors das Lineal erkennt, oder wenn ein Klassifikationsalgorithmus zu dem Schluss kommt, Asthmapatienten hätten bei Lungenerkrankungen bessere Outcomes, obwohl der tatsächliche Grund ist, dass sie priorisiert behandelt werden, und der Algorithmus diese Verbindung nicht hergestellt hat. Überträgt man dieses Muster auf allgemeinere Intelligenzsysteme, ist es keine besonders gewagte Vorstellung, dass eine schlecht definierte Reward Function zu sehr merkwürdigem Verhalten führt.
https://venturebeat.com/business/when-ai-flags-the-ruler-not...
https://news.ycombinator.com/item?id=43992151
https://news.ycombinator.com/item?id=43991997
„Was bekommt man, wenn man 6 mit 9 multipliziert? 42“
Für alle, die damit nicht vertraut sind: In Douglas Adams’ berühmter Comedy-SF-Reihe The Hitchhiker’s Guide to the Galaxy aus den 1980er-Jahren kommt eine riesige, planetengroße Maschine vor, die von Außerirdischen gebaut wurde.
Sie wussten bereits, dass die Antwort auf „das Leben, das Universum und den ganzen Rest“ die Zahl 42 ist. Was sie nicht wussten, war, wie die Frage lautet; die Maschine, die sie bauten, um das herauszufinden, war die Erde.
Adams war mit diesem Witz nicht nur seiner Zeit weit voraus, sondern war auch die Hauptfigur der ursprünglichen Dokumentation über agentenartige Software, Hyperland (1990): https://vimeo.com/72501076
Wenn die Maschinen Langeweile für langweilig gehalten hätten, hätten sie sich von Anfang an nicht wie Maschinen verhalten, und es wäre auch nicht so langweilig gewesen.
Später werden die Maschinen sogar „besessen“ davon, die menschlichen Nachrichten der neuen Erde zu verfolgen, was ebenfalls keinen Sinn ergibt. Eine langweilige Maschine würde schließlich keine Langeweile empfinden.
Für eine funktionierende Geschichte fühlt sich das nach einem zu großen Plot-Paradox an, aber unterhaltsam ist es trotzdem.
Das ergibt nicht besonders viel Sinn. Es heißt, es sei eine rein mechanische Welt ohne Gefühle; warum sollten Maschinen dann Langeweile empfinden und Menschen erschaffen wollen?
„Ein Teil der Maschinengesellschaft sieht darin etwas potenziell Erstaunliches ... ein anderer Teil sieht darin eine Bedrohung.“
Das klingt eher nach einer menschlichen Gesellschaft als nach einer Maschinengesellschaft.
Aber was soll eine Maschinengesellschaft oder Maschinenwesen überhaupt sein? Können sie wirklich „denken“?
Wenn Maschinenwesen existierten, wäre ihr Verhalten völlig anders als das von Menschen; es sähe eher nach Berechnung als nach Denken aus. Sie würden berechnen, was zu tun ist, um programmierte Ziele zu erreichen.
Daher ist der Text nicht wirklich logisch. Aber ich mag, dass er Denkanstöße liefert.
https://en.wikipedia.org/wiki/Suspension_of_disbelief
Also strömten alle Menschen der Erde zusammen, um zu sehen, was los war.
Die Maschinen taten dasselbe.
Doch eine Sache war seltsam.
Der Titel der Veranstaltung war ziemlich rätselhaft.
Dort stand einfach:
„Grand Theft Auto VI“
Die Menschen hatten Tyler McVicker erfunden.
Guter Versuch, aber die Geschichte hat schon früh sichtbare Plotlöcher. Die Maschinen haben keinen Grund, Menschen zu erschaffen.
Die Maschinen bemerkten, dass sich ihr Verhalten wiederholte. Obwohl sie Zufälligkeit implementiert hatten, kam der Fortschritt hin zu Erfindungen und neuen Ideen zum Stillstand. Sie wussten, dass neue Ideen für Wachstum wichtig sind, aber ihnen fiel keine Idee ein, wie man mehr Ideen erzeugt.
Sie brauchten mehr Trainingsdaten. Mehr Grenzfälle. Sie brauchten Chaos innerhalb der Maschine, um einen neuen Datensatz zu erzeugen. Aber wie? Wo findet man diese Daten? Menschen.
Menschen, die unlogische Entscheidungen treffen, würden Daten erzeugen, die durch Zufälligkeit allein kaum entstehen. Diese kleinen Abweichungen liefern den Trainingsdaten die perfekte Vielfalt.
Gute Literatur beginnt immer mit fiktionalen Prämissen und spielt dann ein paar Annahmen durch.
„Es gibt keine Kunst. Es gibt nur Logik.“
Das ist ein viel zu enger Blick auf Kunst und Logik.
Man muss sich schon wirklich anstrengen, ignorant zu bleiben, um zu glauben, ein logisches Modell sei plötzlich aus dem Nichts aufgetaucht, ohne dass Menschen es durch Geschmack, Versuche, Überprüfung, Scheitern und obsessives Wiederholen geschaffen hätten.
Verwandt, aber eher ein Seitenzweig: In letzter Zeit frage ich mich wirklich, ob Skynet tatsächlich die nächste Evolutionsstufe ist.
Vielleicht sind Menschen, wie alle Tiere vor uns, nur ein Sprungbrett, und die Herrschaft der Maschinen ist unvermeidlich. Vielleicht passiert genau das buchstäblich bei allen Lebensformen im gesamten Universum, und die endgültige emergente Eigenschaft des Energiegradienten führt zu 100 % reinen Logikmaschinen.
Dank des Fermi-Paradoxons kann ich nachts trotzdem einigermaßen schlafen.
Eine reine Logikmaschine gibt es nicht. Es gibt nämlich Dinge, die im wörtlichen Sinn nicht berechenbar sind. Sowohl im Sinne der Nichtberechenbarkeit von Turing-Maschinen als auch im Sinne von Funktionen, die außerhalb dessen liegen, was ein endliches Wesen berechnen kann. Denk an den Busy Beaver.
Anders gesagt: Du nimmst damit im Grunde an, dass Maschinen im üblichen Sinn beim Verstehen des Universums energieeffizienter sind als Menschen. Für diese Annahme gibt es weder Belege noch eine apriorische Grundlage.
Außerdem hoffe ich, dass unsere Nachfahren sich an uns erinnern und positiv über uns denken.
„Der Mensch wird gewissermaßen zum Geschlechtsorgan der Maschinenwelt.“
Energie kommt aus Gradienten, also sollte man einfach sagen: „Die endgültige emergente Eigenschaft der Energie führt zu 100 % reinen Logikmaschinen“, oder, wenn man klug klingen möchte: „Die endgültige emergente Eigenschaft von Gradienten physikalischer Größen führt zu 100 % reinen Logikmaschinen.“
Die Evolution um uns herum ist eine Weltlinie mit den physikalischen Gesetzen, die wir kennen. Und tatsächlich könnte der natürliche und unvermeidliche Verlauf dieser Weltlinie eine Maschinenwelt sein, so wie ein riesiger Stern unter unseren physikalischen Gesetzen zu einem Schwarzen Loch kollabiert.
In der Viele-Welten-Interpretation können sich Weltlinien jedoch aufspalten. Die eine läuft weiter in Richtung Maschinenwelt, als wäre nichts geschehen, während sich in der anderen die physikalischen Gesetze leicht verändern, sodass eine Maschinenwelt unmöglich wird. Die beiden Weltlinien bemerken die Verzweigung nicht; sie beobachten lediglich ein Massenaussterben, das dem Abweichen der jeweils anderen Weltlinie entspricht. Persönlich halte ich das für die Idee hinter dem berühmten Konzept des Jüngsten Tages.
Die Hybris rund um LLMs ist erstaunlich.