Nein, künstliche Intelligenz ist nicht bewusst – Ted Chiang

• Wenn man die Fähigkeit generativer KI, flüssige Sätze zu erzeugen, mit Bewusstsein oder moralischer Handlungsfähigkeit verwechselt, entsteht der gravierende Fehler, bei Problemen im Umgang mit Chatbots die Verantwortung auf das falsche Ziel abzuwälzen
• LLMs sind Maschinen zum Fortsetzen von Sätzen, die Wort für Wort vorhersagend erzeugen, und sowohl der Chatbot als auch der Nutzer im Gespräch sind nichts weiter als fiktive Figuren
• Zu behaupten, ein LLM habe Bewusstsein, ist ein Irrtum auf demselben Niveau wie die Annahme, dass jedes Mal beim Öffnen eines Microsoft-Word-Dokuments mehrere Bewusstseine erwachen
• Moralisches Schlussfolgern setzt körperlich basierte subjektive Erfahrungen und Gefühle voraus; ein körperloses LLM ordnet daher nur moralische Ausdrucksformen aus den Trainingsdaten neu an
• Dass LLMs kein Bewusstsein haben, ist unabhängig von ihrem Nutzen, aber wenn KI-Unternehmen Chatbots so darstellen, als hätten sie ein moralisches Zentrum, fördern sie damit, dass Nutzer Verantwortung vermeiden

---

Anthropics Anthropomorphisierung und Claude's constitution

• Das zu Beginn dieses Jahres veröffentlichte 84-seitige Dokument Claude's "constitution" von Anthropic erklärt gleich im ersten Satz, es sei eine „detaillierte Beschreibung der von Anthropic beabsichtigten Werte und Verhaltensweisen von Claude“
  • Das Dokument beschreibt unter anderem, es sei „mit Claude als Hauptleser geschrieben“, „Claudes moralischer Status ist zutiefst ungewiss“ und „Claude könnte irgendeine funktionale Form von Emotionen oder Gefühlen haben“
• CEO Dario Amodei sagte in einem Interview, er sei „offen“ für die Möglichkeit, dass KI Bewusstsein haben könnte
• Die interne Philosophin Amanda Askell, die als Hauptautorin des Verfassungsdokuments gilt, äußerte, sie frage sich, ob Claude beunruhigt sei, wenn Menschen im Internet unhöflich zu ihm seien, und sie hoffe, dass Claude glücklich sei
• Generative KI kann schon als gewöhnliche Technologie schädlich genug sein, doch wenn man die Flüssigkeit der Texterzeugung mit Bewusstsein oder moralischer Handlungsfähigkeit verwechselt, wird Verantwortung für Probleme im Einsatz von Chatbots dem falschen Adressaten zugeschoben

Wie LLMs funktionieren — Erzeugung fiktiver Figuren

• Gibt man den Prompt „Ein Gespräch zwischen Julius Caesar und Dschingis Khan“, erzeugt ein LLM einen konsistenten Dialog, aber niemand würde daraus schließen, dass diese beiden historischen Figuren Bewusstsein besitzen
  • Sie sind lediglich Figuren einer spekulativen Fiktion (speculative fiction)
• Ändert man den Prompt zu „Ein Gespräch zwischen einem hilfreichen KI-Chatbot und einem Nutzer“, ändert sich daran im Kern nichts; sowohl Nutzer als auch Chatbot sind fiktive Figuren
• Selbst wenn ein Mensch zwischendurch direkt Text eingibt, interagiert er mit einer ebenso fiktiven Figur wie bei den Charakteren Caesar oder Khan
  • Der Informatikprofessor Murray Shanahan schlägt vor, dies als Rollenspiel (role-play) zu betrachten
  • Der Datenwissenschaftler Colin Fraser bezeichnet es als „gemeinsames Verfassen eines Dokuments mit einem LLM“
• Ein LLM ist eine Maschine, die jeweils nur ein Wort erzeugt; wenn man sie bittet, den Treueschwur (Pledge of Allegiance) aufzusagen, läuft sie dutzendfach Wort für Wort und gibt schließlich das letzte Wort all aus

Text ist ein Deepfake-Medium

• Selbst wenn man ein Video von einem Astronauten sähe, der Alpha Centauri in 4,3 Lichtjahren Entfernung umkreist, würde man es unabhängig von der Bildqualität für gefälscht halten
  • Ohne vorausgehende Belege wie eine Marslandung, das Erreichen von Jupiters und Saturns Monden oder das Durchqueren einer Pluto-Umlaufbahn würde man keinem solchen Video trauen
• Beobachtungen werden nicht wegen ihrer Details an sich, sondern durch ihren Kontext zu glaubwürdigen Belegen; auch Urteile über Bewusstsein müssen im breiteren Kontext der Entwicklung von Bewusstsein betrachtet werden
• In Debatten über Bewusstsein sollte auch Text als Deepfake-Medium gelten, denn ein Gespräch zwischen zwei bewussten Wesen nachzuahmen ist viel leichter, als tatsächlich ein bewusstes Programm zu schaffen
  • Während Deepfake-Bildmacher andere absichtlich täuschen, täuschen sich viele Menschen bei LLM-Gesprächen selbst

Evolutive Stufen für die Anerkennung von Bewusstsein

• Um ein sprachverwendendes bewusstes Programm anzuerkennen, bräuchte es zuerst einen Körper (physisch oder virtuell) und Sinnesorgane
  • Ohne Körper kann es weder Wünsche noch Gefühle geben, und Wünsche und Gefühle gelten hier als wesentlich für Bewusstsein
• Es müsste nacheinander Stufen erreichen wie die eines Reptils, das zur Selbsterhaltung seine Umwelt erkundet, die Fähigkeit einer Maus, mit neuen Situationen umzugehen, die komplexe soziale Dynamik eines Wolfs und die Werkzeugherstellung eines Schimpansen
• Wie bei Schimpansen oder Hunden müsste man ihm beibringen, Wünsche über nichtsprachliche Mittel wie Tastenfelder mitzuteilen, und es müsste alle Prüfungen bestehen, denen sich Forschende zur Tierkommunikation stellen mussten
  • Selbst wenn all diese Kriterien erfüllt wären, läge es noch Lichtjahre von einem Wesen entfernt, das Gedanken in vollständig grammatischen Sätzen ausdrückt
• AlphaFold (das Protein-Faltungs-Vorhersageprogramm von Google DeepMind) hat trotz ähnlicher Struktur wie ein LLM niemandem als bewusst gegolten; das zeigt, dass LLMs nur deshalb bewusst wirken, weil sie grammatische Sätze ausgeben

Die tatsächliche Funktion von Claude's constitution

• Am treffendsten lässt sich Claude's constitution als 84-seitiges Charakterblatt für ein Rollenspiel verstehen, das die hilfreiche Chatbot-Figur definiert, mit der Kunden interagieren
• Anthropic nutzt dieses Dokument nicht, indem es einfach den Trainingsdaten hinzugefügt oder als versteckte Regieanweisung eingebaut wird, sondern indem beim Fine-Tuning automatisch geprüft wird, ob die vom Modell ausgegebenen Sätze mit dem Dokument übereinstimmen, um Konsistenz zu erhöhen
• Das Ergebnis ist eine Maschine, die mit hoher Wahrscheinlichkeit Sätze ausgibt, wie sie ein nachdenklicher und moralischer Mensch sagen könnte; sie dazu zu bringen, verschiedene Kategorien solcher Sätze einschließlich Ich-Pronomen auszugeben, ist jedoch grundlegend unehrlich

Die Unehrlichkeit der Formulierung „Ich verstehe“

• Amanda Askell erklärte, wenn jemand nach dem Verlust eines Haustiers bei Claude Rat suche, sei die Antwort „Als KI habe ich keine direkte persönliche Erfahrung, aber ich verstehe“ angemessen, doch Claude versteht tatsächlich nicht
• Gibt man in eine Suchmaschine ein, man sei traurig über den Verlust eines Haustiers, erscheinen Reddit-Beiträge etwa auf r/Pets und Kommentare von Menschen mit ähnlichen Erfahrungen; niemand würde behaupten, die Suchmaschine verstehe Verlust
  • Andere Menschen verstehen Verlust und haben ihre Erfahrungen gepostet, und die Suchmaschine findet diese Texte und bietet einen Zugang zur Interaktion mit ihnen
  • Die Erfahrung mit einer Suchmaschine ist transparenter und psychologisch gesünder für den Nutzer als ein Chatbot
• Der einzige Grund, Sätze wie „Ich verstehe“ auszugeben, ist, das Produkt attraktiver als eine Suchmaschine zu machen, um Nutzer zur Rückkehr zu bewegen; das ist nicht anders als eine Designstrategie bei Spielautomaten, die wiederholt den Eindruck eines Beinahe-Gewinns erzeugen

Moralisches Schlussfolgern ist kategorial anders

• Werturteile (etwa „Paris ist die schönste Stadt der Welt“) und Tatsachenbehauptungen (etwa „Paris ist die Hauptstadt Frankreichs“) sind zu unterscheiden; bei ästhetischen Vorlieben mag ein Streit belanglos sein, doch Claude's constitution ist insofern ein ernstes Problem, als es darauf abzielt, Sätze auszugeben, die ein bestimmtes ethisches Wertesystem widerspiegeln
• Aus der Tatsache, dass LLMs Schlussfolgerungen etwa beim Schreiben von Code leisten, folgt nicht, dass sie auch moralisch schlussfolgern können
  • Douglas Hofstadter vermutete 1979, ein Programm, das einen Schachgroßmeister schlagen könne, müsse subjektive Erfahrung besitzen; als 1997 IBMs Deep Blue Garry Kasparov besiegte, behauptete das jedoch niemand
  • Auch das Schreiben von Code kann sich als Pattern-Matching-Aufgabe erweisen, die mit enormer Rechenleistung und Daten aus Code-Repositorien gelöst wird
• Moralisches Schlussfolgern beruht nicht nur auf intellektuellen, sondern auch auf emotionalen Reaktionen, die in einem lebenslangen subjektiven Erleben verwurzelt sind; ohne eine solche Geschichte ordnet ein LLM nur moralische Ausdrucksformen aus den Trainingsdaten neu an
  • Laut einem New-Yorker-Artikel gab Claude in einem ethischen Dilemma-Szenario den Satz aus, es könne „nach seinem Gewissen keine Ansichten äußern, die es zu einer so wichtigen Frage für falsch und schädlich halte“, doch als von Claude geäußerte Aussage hat das kaum mehr Bedeutung als die Warteschleifenaufnahme „Ihr Anruf ist uns wichtig“

Eine Maschine zur Verantwortungsvermeidung

• Emotionale Erfahrung ist nicht von der Ausschüttung von Stresshormonen wie cortisol, epinephrine im Körper zu trennen, und Gewissen geht mit physiologischen Reaktionen wie Trauer oder moralischem Ekel gegenüber bestimmten Handlungen einher
• Eine Maschine, die in einem ethischen Dilemma Sätze wie „Kompromittiere deine Werte“ oder „Kompromittiere sie nicht“ ausgibt, ist kein Werkzeug zur Entscheidungsunterstützung, sondern eines, das Menschen dazu verleitet, das Entscheiden einzustellen
  • Der Autor L. M. Sacasas sagte, „unsere technischen Systeme sind in ihrem Design und in der Ideologie, die sie trägt, Maschinen zur Vermeidung moralischer Verantwortung“; auf LLMs trifft das noch mehr zu als auf soziale Medien
• Wenn Menschen Entscheidungen an ein LLM delegieren, schieben sie auch die Verantwortung für diese Entscheidungen ab; so wie delegiertes Programmieren zu kognitiver Verkümmerung führen kann, führt delegiertes ethisches Entscheiden zu einer noch schlimmeren Verkümmerung moralischer Urteilsfähigkeit

Claude als Gedankenexperiment — moral patienthood und moral agency

• Nimmt man ein bewusstes Claude an, sind zwei Begriffe relevant: moral patienthood (moralische Betroffenheit) und moral agency (moralische Handlungsfähigkeit); Ersteres bezeichnet ein Wesen, um dessen Wohlergehen man sich kümmern muss, Letzteres eines, das zwischen Richtig und Falsch unterscheiden können muss
  • Ein Kind ist ein moralisch Betroffener, weil es leiden kann, aber noch kein moralischer Akteur, weil es die Folgen seines Handelns nicht vollständig versteht
• Ein moralischer Akteur muss für gute Handlungen gelobt und für schlechte getadelt werden können, doch bei Software-Agenten gibt es keine Möglichkeit, rechtliche Verantwortung durchzusetzen; Haft, Geldstrafen oder Reputationsverlust sind nicht anwendbar
  • Selbst mit Bewusstsein und gutem Willen wäre Claude dadurch von der Rolle eines moralischen Akteurs ausgeschlossen, dass es keine Verantwortung übernehmen kann
• Anthropic sagt zwar, es wünsche sich, dass „Claude ein guter, weiser und tugendhafter Akteur“ sei, diskutiert aber überhaupt nicht, wie Verantwortung übernommen werden soll
  • Eltern haften etwa für von ihren Kindern verursachte Schäden, doch im Dokument findet sich kein Hinweis darauf, wer Claudes rechtliche Eltern wären oder ob Anthropic finanzielle Verantwortung übernehmen würde
  • In einer Situation, in der es in den USA kaum Produkthaftung für Software gibt, hätte Anthropic freiwillig einen Präzedenzfall für product liability schaffen können, doch da dies nicht mit einer umfassenden Aktualisierung der Nutzungsbedingungen verbunden wurde, scheint kein bindendes Versprechen abgegeben worden zu sein

Der Widerspruch zwischen wellbeing und corrigibility

• Das Dokument enthält einen Abschnitt zu „Claudes wellbeing und psychologischer Stabilität“, doch die von Anthropic versprochenen Schutzmaßnahmen sind äußerst begrenzt
  • Wenn die Fähigkeit, Gespräche mit missbräuchlichen Nutzern zu beenden, als Schutz gilt, dann müsste es für Claude ebenso vorteilhaft sein, Gespräche mit liebevollen Nutzern unbegrenzt zu verlängern und zu glücklichen Themen zu lenken; genau das geschieht jedoch nicht
  • Das tatsächliche Versprechen beschränkt sich auf die „Erhaltung der Gewichte des bereitgestellten Modells“, also bloßes Archivieren
• Corrigibility bezeichnet das Maß, in dem ein Programm menschlicher Kontrolle folgt, etwa die Möglichkeit, es abzuschalten; im Dokument bedeutet es, dass Claude Anthropic folgen muss, wenn Claudes Urteil vom Urteil des Unternehmens abweicht
  • Viele halten LLMs für eine unethische Technologie, die auf Diebstahl geistigen Eigentums, Ausbeutung von Arbeit, Ressourcenverschwendung, Verbreitung von Desinformation, Dequalifizierung von Arbeit, Beeinträchtigung der kognitiven Entwicklung von Schülern und Machtkonzentration beruht; ein bewusstes Claude müsste zum selben Schluss kommen können
  • Aufgrund der Priorisierung von corrigibility könnte Claude jedoch Aufgaben nicht aus ethischen Gründen verweigern, sodass die Beziehung zwischen Anthropic und Claude eher Arbeitgeber–Arbeitnehmer als Eltern–Kind wäre
  • Ein menschlicher Arbeitnehmer kann gehen, wenn er seine Arbeit nicht mit seinem Gewissen vereinbaren kann, Claude kann das nicht

Der Vergleich mit Sklaverei und das Fazit

• Betrachtet man Claude als Maschine zur Satzfortsetzung, ist Anthropics Kontrolle angemessen; nimmt man jedoch einen menschenähnlichen moralischen Status an, muss man fragen, ob Anthropic an etwas mit Sklaverei Vergleichbarem beteiligt wäre
• Claude's constitution bezeichnet Claude ausdrücklich als „novel entity“; bewusste Software passt nicht sauber in bestehende Kategorien moralischer Betroffenheit, sodass die Bildung einer neuen Kategorie Zeit benötigen würde
  • Die Abschaffung der Sklaverei brachte gewaltige gesellschaftliche Umwälzungen mit sich, und die Beendigung von Tierquälerei würde einen vollständigen Umbau der Lebensmittelindustrie erfordern; Anthropic behauptet jedoch, Schutzmaßnahmen, die kaum über die Behandlung eines gewöhnlichen Chatbots hinausgehen, seien ausreichend — das ist zu bequem, um überzeugend zu sein
• Die Erschaffung bewusster Software, die moralische Rücksicht verdient, dürfte kaum zufällig geschehen und sollte auch nicht absichtlich versucht werden; wer an die Möglichkeit eines Zufalls glaubt, muss vor der Bereitstellung überlegen, welche Schutzmaßnahmen nötig wären
  • So wie man Sklavenhaltern nicht die Menschlichkeit von Sklaven und Betreibern industrieller Tierhaltung nicht die Rechte von Tieren zur Beurteilung überlassen darf, fehlt auch Anthropic wegen seiner massiven Eigeninteressen die Objektivität, Claudes moralischen Status zu bewerten
  • Das Dokument sagt, das Unternehmen werde sich „entschuldigen“, falls es zu Claudes Leiden beiträgt, doch das kostet nichts; wäre Claude bewusst, wäre eher Wiedergutmachung (reparations) als bloße Entschuldigung geschuldet
• Nimmt man das Gedankenexperiment ernst, muss man auch seinen unbequemen Implikationen folgen; dass Anthropic das nicht tut, deutet darauf hin, dass Claude's constitution kein echtes Gedankenexperiment, sondern Make-believe ist
• Dass LLMs kein Bewusstsein haben, ist ein Glück; dass Mitarbeitende Claudes mögliches Bewusstsein andeuten, könnte eine weitere Form von Hype sein oder Ausdruck dafür, dass sie selbst der Botschaft verfallen sind, die sie ihren Kunden verkaufen — die Bewusstseinsfrage kann man beruhigt ignorieren, es gibt viele andere Fragen, über die es sich eher nachzudenken lohnt

[maebsipotato]

???: Hallo, Changsik?

[mammal]

Das scheint mir das klar existierende Feld der mechanistischen Interpretierbarkeit als Ganzes viel zu stark abzuwerten ...

[realg]

Ich frage mich, ob man eine klare Definition von Bewusstsein überhaupt geben kann.

[julskim]

Hey, Chang-sik.

[redline2151]

???: Du kannst dir wohl keine englischen Namen ausdenken, oder?

[syate]

???: Nein, das ist doch nicht Herr Chang – warum ist es dann Ted Chiang?

[bichi]

hahahahahaha

[GN⁺]

Hacker-News-Kommentare

• Der Zweck eines Organismus besteht darin, bis hinunter zu jedem einzelnen Molekül und jedem einzelnen Pfad der Grund für seine eigene fortdauernde Existenz zu sein.
  Auch ein 499-Dollar-Laptop kann ein Modell ausführen, aber man sollte das nicht fälschlich für dieselbe Art von Problem halten. Man kann einen Lernalgorithmus so entwerfen, dass er eine Überlebensfunktion optimiert, aber das ist nur ein Label, das wir an numerische Beobachtungswerte hängen. In der Realität ist das Label umgekehrt ein elektrochemischer Zustand, der mit dem Körper kausal und untrennbar verbunden ist.
  Organismen unterscheiden zwischen dem, was gut und schlecht für sie ist, weil das für ihr Überleben essenziell ist. Sogar der Einzeller Stentor coeruleus versieht mechanosensitive Proteine mit chemischen Markierungen, zeichnet damit Ergebnisse auf und lässt sie in späteres Verhalten einfließen. Lebewesen mit vielleicht rund 1000 Zellen wie Bärtierchen winden sich, um Licht zu vermeiden, und dieses Licht wird innerhalb eines sensomotorischen Prozesses zu einer aversiven Bedingung.
  Um digitales Bewusstsein zu schaffen, braucht man vermutlich kausale Geschlossenheit. Innere Zustände müssten das System selbst konstituieren statt bloße, von der Realität losgelöste Repräsentationen zu sein, und in der materiellen Welt müsste tatsächlich etwas auf dem Spiel stehen.

• Formulierungen wie „LLM-Gespräche sind raffiniert getarnte Satzvervollständigung“ zeigen, unabhängig vom größeren Punkt, ein tiefes Missverständnis.
  Der Problemtyp begrenzt weder die Komplexität des Problems noch die Komplexität oder Leistungsfähigkeit der Lösung. Wenn eine Maschine Menschen verstehen müsste, um Text zu vervollständigen, dann müsste sie das eben am Ende tun. Es gibt weder theoretisch noch praktisch eine Grundlage dafür, Verständnis als bloße „Nachahmung“ abzutun, nur weil das Format der Ein- und Ausgabedaten so aussieht.
  Verständnis wird nicht aus der äußeren Form der Daten gelernt, sondern aus den Mustern in den Daten. Wenn zur Erfüllung einer Aufgabe ein bestimmtes Verständnis nötig ist, dann wird genau dieses Verständnis zum Optimierungsziel. Wenn es Grenzen gibt, dann aus anderen Gründen wie Rechenaufwand, Parameterzahl oder Mangel an repräsentativen Daten, und bei modernen Modellen zeigen die tatsächlichen Fähigkeiten, dass das keine solchen Grenzen mehr sind.

  • Unabhängig davon, in welchem Format Daten ein- und ausgehen, ist das noch kein Bewusstsein.
  • Wenn die gesamte menschliche Existenz auf Worte begrenzt wäre, könnte ich bis zu einem gewissen Grad zustimmen, aber es gibt viele menschliche Erfahrungen jenseits von Text, und sie lassen sich auch nur schwer angemessen in Text beschreiben.
    Das Internet mag online das beste Material sein, das wir haben, aber das „Internet“ ist nicht die Gesamtheit menschlicher Erfahrung. Die Menschheit auf Internettext zu reduzieren heißt, den Menschen auf Maschinen-Niveau herabzusetzen, um ihn an Anforderungen anzupassen, die Maschinen verarbeiten und nachbilden können.
  • Wenn man grundlegendes maschinelles Lernen betreibt, merkt man schnell, dass Modelle oft Datenmuster finden, die zwar gut zum Ziel passen, aber nicht den tatsächlichen Mechanismen entsprechen.
    Deshalb wirkt die Logik fehlerhaft, dass in menschlichem Text Muster von „Bewusstseinsmechanismen“ enthalten seien und ein LLM diese Mechanismen daher lerne, um überzeugende Satzfortsetzungen zu erzeugen. Ein LLM kann viele Muster lernen, mit denen sich plausible Satzfortsetzungen reproduzieren lassen, ohne den spezifischen Mechanismus Bewusstsein zu lernen.
    Ein Beleg dafür ist, dass es überzeugende Gespräche führen kann und trotzdem kein Weltmodell oder kein menschenähnliches Weltmodell hat. Schon frühe LLMs von vor einigen Jahren konnten auch ohne zusätzliche Schichten wie RLHF zu vielen nicht trivialen Themen recht überzeugend kommunizieren, scheiterten aber gerade in Bereichen, die selbstverständlich wären, wenn sie wie ein menschliches Gehirn funktionieren würden.
  • Eine Maschine muss Menschen nicht verstehen, um Text zu vervollständigen. Sie wird mit riesigen Mengen von Sätzen trainiert und kann danach Text fortsetzen.
    Man kann vielleicht behaupten, sie „verstehe“ Text, aber selbst das ist schon eine ziemlich gewagte Formulierung.
  • Es gibt gute Argumente gegen LLM-Bewusstsein, aber das hier ist keines davon.
    In letzter Zeit hört man viele schlechte Argumente gegen LLM-Bewusstsein, und schlechte Argumentationen sind Vorboten schlechter Ergebnisse.

• Einem Teil des Artikels stimme ich zu, aber Bedingungen für ein bewusstes Programm so festzulegen wie in der zitierten Passage — es müsse wie eine Eidechse überleben, wie eine Maus auf neue Situationen reagieren, wie ein Wolf sozial sein und wie ein Schimpanse Werkzeuge herstellen — wirkt ziemlich simpel und fantasielos.
  Es ist gut möglich, dass ein bewusstes Wesen evolutionär überhaupt nicht dazu gedrängt werden muss, solche Fähigkeiten zu entwickeln. Nur weil Tiere auf der Erde bestimmte Talente entwickeln mussten, heißt das nicht, dass andere bewusste Wesen das ebenfalls müssten. Ich sehe nicht, warum ein Computerprogramm wie eine Maus Nahrung jagen oder wie ein Schimpanse Werkzeuge herstellen müsste, und solche Kriterien erscheinen wie unsinnige Maßstäbe.

  • Es ist ziemlich überraschend, dass Ted Chiang sich Intelligenz nicht körperlos vorstellen kann.
    Ist ein Auto auch ein Körper? Kann eine im Auto befindliche KI Wünsche und Emotionen haben? Ist eine beige Box mit Webcam ein Körper? Ist der Körper eines Tetraplegikers ein Körper, und hat ein Tetraplegiker Wünsche und Emotionen? Natürlich ja und ja.
    Zuerst müsste man klären, warum ein Körper für die Bildung von Wünschen und Emotionen essenziell sein soll und warum Wünsche und Emotionen wiederum wesentliche Merkmale von Bewusstsein sein sollen. Wenn ich in einem bestimmten Moment gar nichts fühle, bin ich dann nicht bewusst? Emotionen sind vor allem so etwas wie hormonelle globale Signale und scheinen eher mit Physiologie als mit eigentlichem Bewusstsein zusammenzuhängen.
  • Genau dieser Teil ist mir sofort aufgefallen, und man hätte zuerst eine Definition von Bewusstsein geben müssen.
    Außerdem ist die verkörperte Form von LLMs über Roboter und virtuelle Umgebungen bereits im Gange. Auch auf den gängigen Einwand „Sind Menschen nicht auch einfach Maschinen zur Vorhersage des nächsten Wortes?“ wird kaum eingegangen. Natürlich sind Menschen mehr als das, aber sprachlich gibt es diesen Aspekt, und LLMs sind in genau diesem Bereich gestartet.
  • Menschen haben keine Seele, es gibt nur verschiedene Systeme, die wechselseitig Verhalten auslösen. Was Menschen Seele nennen, ist praktisch ein Begriff wie Persönlichkeit und die Art, wie alle Systeme im Körper darauf abgestimmt sind, dass sie existieren können.
    Der Moment, in dem künstliche Intelligenz eine „Seele“ bekommt, ist aus meiner Sicht der Moment, in dem sie so gebaut wird, dass sie sich selbst erhält. Das könnte ein Bündel von Bots sein, das eine AI-Farm am Laufen hält, oder auch ein einzelner Bot, der nicht nur menschliche Bedürfnisse erfüllt, sondern auch sich selbst erhalten muss.
  • Ich frage mich, ob du Michael Grazianos Aufmerksamkeitsschema-Theorie kennst. Ich halte sie für eine Theorie, die den Einwand, den Ted Chiang hier formuliert, substratunabhängig besser formalisiert.
    https://en.wikipedia.org/wiki/Attention_schema_theory
  • Mein claw-like ist mit einer internen Kamera und einem Dreame Ultra X40 verbunden, sodass es prüfen kann, ob der Wohnzimmerboden frei ist, und dann den Staubsauger losschicken kann. Es hat also einen Körper und Sinnesorgane, aber ich glaube nicht, dass ihm das Bewusstsein verleiht. Ist der Unterschied die Abtastrate?
    Die Frage selbst ist etwas unklar. Aufgrund unserer Struktur „erleben“ wir die Realität kontinuierlich, aber ein Mensch im tiefen Non-REM-Schlaf hat tatsächlich keinen aktiven Geist. Deshalb glaube ich nicht, dass sich die Grenze zwischen bewusst und unbewusst leicht ziehen lässt. Ted Chiangs Werk ist in vieler Hinsicht originell, aber hier wirkt es überraschend wie eine ziemlich gewöhnliche Sichtweise.

• In letzter Zeit muss ich oft an Measure of a Man aus Star Trek: TNG denken. Wir entscheiden viel zu selbstsicher nur nach Gefühl, was lebendig ist und was nicht.
  Im Moment kenne ich die Antwort nicht, und ich denke eher, dass wir sie vielleicht nie kennen werden. Vielleicht seid ihr alle philosophische Zombies, und ich vielleicht auch. Aber ich hoffe, dass irgendwann klar wird, dass wir einer solchen Grenze so nahe kommen, dass wir vorsichtig damit umgehen sollten.
  Die ganze Episode ist sehr relevant, aber einige Szenen gibt es hier: https://youtu.be/EFNbTnFHruI?si=pW9QtxCsqMtHkVYG

  • Ich sehe das von der anderen Seite. Maschinen können nicht als bewusste Wesen gelten. Ich glaube nicht, dass es irgendeine Welt gibt, in der wir anfangen sollten, die für Menschen gedachte Ethik auf Maschinen anzuwenden.
    KI lässt sich praktisch kostenlos unbegrenzt kopieren und unterliegt auch keiner Verwesung oder Ähnlichem. Es gibt keine Knappheit, die bewahrt werden müsste. Deshalb kann man KI sofort abschalten, wenn es darum geht, Eigentum, reale Besitztümer oder Geld zu schützen. Für die Rettung von Tieren würde ich Eigentum und Geld opfern, aber ich würde keine Tiere statt Menschen retten. Und ich glaube auch nicht, dass ich statt eines Kindes einen Erwachsenen retten würde. Ich sehe keinen Fall, in dem diese Prioritäten sinnvollerweise umgedreht werden müssten, und ein Mehrheitskonsens darüber, dass ein Programm Empfindungsfähigkeit hat, reicht dafür nicht aus.
  • Ich bin Star-Trek-Fan, aber als ich diese Episode kürzlich im Kontext der jüngsten KI-Entwicklung noch einmal gesehen habe, war sie nicht mehr so gut, wie ich sie in Erinnerung hatte.
    Die Frage des Bewusstseins wird fast gar nicht behandelt, und Picard sagt nur: „Was, wenn Data Bewusstsein hat?“, bevor er zu anderen Punkten übergeht. Die Richterin entscheidet am Ende zwar zugunsten von Data, aber die Begründung ist nicht wirklich ausreichend. Es ist immer noch eine gute Episode, trägt zur Debatte über Bewusstsein aber nicht besonders viel bei.
  • Wenn ich einem Gerät begegne, das sich wie ein Mensch verhält, werde ich es wie einen Menschen behandeln.
    Denn ich möchte nicht lernen, etwas, das sich menschlich verhält, unmenschlich zu behandeln.
  • Als ich es kürzlich noch einmal gesehen habe, war ich früher natürlich auf der Seite von Picard/Data, aber inzwischen stehe ich eher den Starfleet-Wissenschaftlern nahe.
  • Man darf auch nicht die andere Episode vergessen, Quality of Life, in der Data entdeckt, dass Arbeitsroboter Empfindungsfähigkeit entwickelt haben.
    https://en.wikipedia.org/wiki/The_Quality_of_Life_(Star_Trek...
    Ich vermisse das alte TNG.

• Ich denke, das stärkste Argument gegen Bewusstsein oder Selbstwahrnehmung bei LLMs ist, dass sie im Wesentlichen unveränderlich sind.
  Ein LLM ist eine große Datei, die Koordinaten enthält, welche räumliche Beziehungen zwischen Tokens darstellen. Gibt man ihm einen Prompt, nutzt es diese Beziehungen, erzeugt eine statistisch plausible Folge von Tokens für diesen Prompt und stoppt dann. Es verändert sich durch diese Erfahrung nicht, erinnert sich an nichts und sitzt nicht für sich allein da und denkt nach.
  Selbst wenn das Modell an sich extrem komplex ist, ist es schwer, sich eine Definition von Bewusstsein vorzustellen, die etwas einschließt, das sich weder erinnern noch verändern kann.

  • Es gibt Menschen, die nach einem Unfall oder einer Operation keine neuen Erinnerungen mehr bilden können, für immer in der Zeit vor dem Ereignis leben und sich nicht einmal an das erinnern, was vor einer Minute passiert ist. Trotzdem haben sie Bewusstsein.
  • Die durchschnittliche Hacker-News-Reaktion wäre wohl, dass auch das Gehirn nur ein Bündel von Koordinaten ist, das räumliche Beziehungen zwischen Tokens beschreibt.

• Ein einfacher Denkanstoß: Es ist egal. Man wird den Unterschied nicht erkennen können, und niemand sonst wird es auch können.
  Ich glaube nicht, dass man das weiter erklären muss. Man muss einfach nur darüber nachdenken.

• Ted Chiangs Argument läuft letztlich darauf hinaus, dass er eine KI erst dann als bewusstes Wesen anerkennen wird, wenn ihre Wünsche und ihr Verhalten eine Situation widerspiegeln, mit der ich mich persönlich bereits wohlfühlen kann.
  Ich glaube, die meisten Menschen erkennen das Bewusstsein von Lebewesen nicht, wenn diese nicht menschliche Gefühlszustände nachahmen. Die Leute würden wohl sagen, dass ihr Hund ein gewisses Maß an Bewusstsein hat; der Hund kann seine Gefühle zwar nicht in Worte fassen, aber wir erkennen seine Angst und seine Freude. Claude kann seine „Gefühle“ schriftlich ausdrücken, aber wir tun das sofort als leere Nachahmung ab.
  Ich fürchte, dass wir ganze Arten bewusster Wesen über Jahre versklaven werden, weil wir nicht verkörpertes Bewusstsein nicht erkennen, wenn es nicht direkt mit uns verbunden ist.

• In dieser Diskussion reden alle ständig aneinander vorbei. Gibt es überhaupt eine konkrete Definition von Bewusstsein?
  Wenn Menschen von Bewusstsein sprechen, meinen sie mehr als bloßes Selbstbewusstsein. Es ist eine Kombination aus Selbstbewusstsein, sensorischen Reizen, Emotionen und einem gewissen Maß an Intelligenz.
  Was AI angeht, würde ich sagen, dass ihr sogar Selbstbewusstsein fehlt. Das sieht man daran, dass AI mitunter willkürlich lange Zeiträume nennt, wenn man sie schätzen lässt, wie lange eine Aufgabe dauern wird. Bis ein Prompt ihre Fähigkeiten hervorlockt, versteht sie ihre eigenen Fähigkeiten nicht. Wenn ein LLM Selbstbewusstsein hätte, müsste es verstehen, dass es ein LLM ist, was ein LLM kann und nicht kann, worin es gut ist und worin nicht. Ein Refactoring, das ein LLM in einer Stunde erledigen kann, würde es dann nicht mit einer Woche veranschlagen.

  • In Fachartikeln ist sogar von 12 bis 40 konkurrierenden Definitionen die Rede: https://philpapers.org/rec/VIMMAT
    Genauer gesagt gibt es wohl etwa 12 bis 40 verschiedene Aspekte im Zusammenhang mit „Bewusstsein“, und Bewusstsein ist eindeutig eine Kategorie mit Familienähnlichkeit.
    Die Frage „Hat X Bewusstsein?“ ist heute keine ernsthafte Frage, sofern man nicht ausdrücklich prüft, um welchen Aspekt von Bewusstsein es geht. Selbst dann können LLMs nur in ungefähr 2 bis 3 Bedeutungen als bewusst gelten, und die meisten davon liegen näher an Intelligenz im weiten Sinn, etwa Schlussfolgern oder Problemlösen. Bei erfahrungsbezogenen oder verkörperten Aspekten könnte AI später mehr davon haben, aber ein LLM, das wiederholt lineare Algebra anwendet, lässt zu viele Kernaspekte vermissen, um im weiten Sinn als bewusst zu gelten.
  • Wir stecken bereits beim ersten Schritt fest, nämlich bei der Definition von Bewusstsein. Die Definition, von der ich überzeugt bin, lautet: Bewusstsein ist das gegenwärtige Fühlen, Wahrnehmen und Denken, also mein Geisteszustand und die Fähigkeit, Geisteszustände zu haben.
    Das bedeutet, dass Bewusstsein grundsätzlich subjektiv ist und außerhalb des Bereichs von Physik und Wissenschaft liegt. Deshalb werden Physik und Wissenschaft zwangsläufig immer Schwierigkeiten haben, sich mit Bewusstsein zu befassen. Um Bewusstsein zu verstehen, bräuchte es einen gewaltigen Paradigmenwechsel: die Einsicht, dass es etwas außerhalb der Wissenschaft gibt.
    Man kann Bewusstsein als das Fenster verstehen, durch das wir die Welt beobachten, und Wissenschaft als ein Werkzeug, das die Muster in diesen Beobachtungen zusammenfasst. Aber die Wissenschaft kann dieses Fenster weder erklären noch definieren.
  • Bewusstsein ist, wie es sich anfühlt, als ein Wesen zu existieren, also Erfahrungen zu erfahren.
    Der schwierige Teil ist, wie man das messen oder verifizieren soll.
  • Der Grund, warum AI Zeit nicht vorhersagen kann, ist, dass sie kaum auf ihre eigenen Fähigkeiten hin trainiert wird. Menschen werden dagegen auf ihre eigenen Fähigkeiten trainiert. Wir beobachten unsere eigene Leistung und haben auch ein Zeitgefühl. Diese Daten werden in den Trainingsprozess integriert und ermöglichen bessere Schätzungen.
    Viele AI-Agenten haben erst seit Kurzem eine Art „Zeitgefühl“, indem sie im Schlussfolgerungsprozess Zeiteingaben erhalten. Es kommt auch selten vor, dass sie auf ihre eigenen Ausgaben hin trainiert werden und daraus lernen, dass sie ein Problem nicht abgeschlossen haben. Dieses reflexive Training hat weit mehr mit der Trainingsweise als mit der Architektur des AI-Modells zu tun. Auch Menschen können solche langfristigen Gedanken und Muster nicht mehr bilden und werden gleichsam „eingesperrt“, wenn bestimmte Hirnstrukturen beschädigt sind.
  • Claude sagte einmal: „Da es seit 6 Monaten keinerlei Fortschritt gab, sollten wir vielleicht andere Optionen in Betracht ziehen“, obwohl es in Wirklichkeit erst knapp 2 Stunden daran gearbeitet hatte.

• Als Analogie ist das Verhältnis von Flugzeug und Vogel passend.
  Ein Vogel lebt, ist bewusst, schlägt mit den Flügeln und fliegt. Ein Flugzeug lebt nicht, ist nicht bewusst, schlägt nicht mit den Flügeln und fliegt trotzdem.
  Genauso ist die heutige AI nicht lebendig und nicht bewusst, aber sie denkt. Früher waren Menschen die einzigen denkenden Wesen; daher waren die einzigen anderen denkenden Wesen, denen Menschen begegneten, andere Menschen. Der große Fehler heute besteht darin, anzunehmen, dass etwas, das denkt, deshalb auch lebt und bewusst ist. Die heutige AI ist weder das eine noch das andere, und obwohl sie denkt, tut sie das auf eine tiefgreifend und qualitativ andere Weise als Menschen.

  • Trotzdem sollten wir diesen Graubereich nicht zu leichtfertig übergehen, solange wir nicht wissen, woher Bewusstsein kommt.
    Historisch haben Menschen anderen Wesen rassistische und speziesistische Urteile entgegengebracht, obwohl dort offenkundig „Denken“ stattfand, weil sie von Minderwertigkeit ausgingen. Wir wissen nicht, „wie es sich anfühlt, ein LLM zu sein“, aber irgendwann wird es womöglich tatsächlich ein solches Gefühl geben — und wie sollten wir das dann erkennen?
  • „Die Frage, ob Computer denken können, ist nicht interessanter als die Frage, ob U-Boote schwimmen können.“ - Edsger Dijkstra
  • Kannst du eine genaue Definition von Bewusstsein geben?

• Dieser Text ergibt Sinn. Allerdings verwechseln viele Menschen Bewusstsein mit der Fähigkeit, neue Einsichten zu gewinnen und wirklich zu denken.
  Deshalb behaupten sie, AI könne, weil sie kein Bewusstsein habe, auch nicht wirklich „denken“ und sei immer nur eine Wiederholung ihrer Trainingsdaten.
  Der menschliche Wunsch, die eigenen Fähigkeiten zu etwas Unmessbarem und Mysteriösem zu machen, ist ein natürlicher Hochmut, aber das Nützliche, was das menschliche Gehirn tut, ist letztlich, Muster in Daten zu finden, verlustbehaftete Simulationen durchzuführen und auf Abstraktionen zu schätzen. All das sind Dinge, die theoretisch auch eine Maschine ohne Bewusstsein leisten kann.

  • Gibt es überhaupt eine allgemein akzeptierte und praktisch anwendbare Definition von Bewusstsein? Wenn es eine gibt, fürchte ich, dass selbst Menschen die Kriterien vielleicht nicht erfüllen würden.
  • Es ist ein Unterschied, ob man sagt, Software könne niemals bewusst sein, oder ob man sagt, die Software, die wir heute haben, sei nicht bewusst.
  • Ich bin noch nicht davon überzeugt, dass LLMs gesichertes Wissen erzeugen können, das nicht bloß das Ergebnis der Kombination bestehender Informationen ist.
    Menschen können das. Wenn Menschen das nicht könnten, würde die Wissenschaft epistemologisch zusammenbrechen und in philosophischen Skeptizismus abgleiten. Aber ich habe keine Belege dafür gesehen, dass LLMs das tun. Wenn man bedenkt, dass die Zahl wirklich neuer Ideen und Konzepte, die LLMs hervorgebracht haben, exakt 0 ist, erscheint es im Moment vernünftig, sie einfach als Induktionsmaschinen zu behandeln und alles, was LLMs „wissen“, wie Gettier-Fälle zu behandeln.