23 Punkte von GN⁺ 2025-12-11 | 23 Kommentare | Auf WhatsApp teilen
  • Richard Stallman weist darauf hin, dass ChatGPT ein System ohne Intelligenz ist und lediglich Wörter kombiniert, ohne ihre Bedeutung zu verstehen
  • Da dieses System Ausgaben unabhängig von ihrem Wahrheitsgehalt erzeugt, nennt er es einen „Bullshit-Generator (bullshit generator)
  • Er warnt davor, dass diese Täuschung der Öffentlichkeit, generativen Systemen Intelligenz zuzuschreiben, zu fehlgeleitetem Vertrauen führt
  • ChatGPT ist proprietäre Software, bei der Nutzer weder ausführbare Dateien noch den Quellcode erhalten können, und ist nur über Server zugänglich
  • Rechenvorgänge auf den Servern anderer auszuführen, sollte abgelehnt werden, weil dies die Computing-Freiheit der Nutzer beeinträchtigt

Der nicht-intelligente Charakter von ChatGPT

  • Stallman definiert „Intelligenz“ (intelligence) als die Fähigkeit, etwas zu verstehen oder zu wissen
    • ChatGPT kennt die Bedeutung seiner erzeugten Ausgaben nicht und erkennt nicht einmal, dass Wörter Bedeutung tragen
  • Daher wird ChatGPT als kein intelligentes System, sondern als bloßes System zur Sprachkombination eingeordnet

Charakter als „Bullshit-Generator“

  • Er bezeichnet ChatGPT als „bullshit generator“, womit ein System gemeint ist, das Ergebnisse unabhängig von ihrem Wahrheitsgehalt erzeugt
  • Aus demselben Grund erwähnt er, dass auch andere generative Systeme dasselbe Problem haben

Fehlgeleitetes Vertrauen der Öffentlichkeit

  • Viele Menschen unterliegen dem Irrtum, dass solche Systeme intelligent seien, und bringen ihnen dadurch fehlgeleitetes Vertrauen entgegen
  • Stallman ruft dazu auf, das Bewusstsein dafür zu stärken, dass man solchen Systemen nicht vertrauen sollte

Das Problem als proprietäre Software

  • ChatGPT ist nicht veröffentlichte Software, die Nutzer weder kopieren noch ausführen können
    • Es werden nicht einmal ausführbare Dateien bereitgestellt; nutzbar ist es ausschließlich über die Server von OpenAI
  • Diese Struktur macht die Nutzer vom Server abhängig und verhindert eine unabhängige Nutzung

Beeinträchtigung der Computing-Freiheit

  • Stallman erklärt ausdrücklich, dass die eigenen Rechenvorgänge auf den Servern anderer auszuführen die Computing-Freiheit zerstört
  • Unter Verweis auf ein GNU-Philosophiedokument stellt er die grundlegende Frage: Wem dient dieser Server wirklich?

Quelle: Richard Stallman, „Reasons not to use ChatGPT“, stallman.org, 2024
Urheberrecht: Der Text darf gemäß dem Hinweis im Original unter denselben Bedingungen kopiert und verbreitet werden

23 Kommentare

 
jung5966 2025-12-18

Während meines Bachelorstudiums habe ich einmal einen philosophischen Wahlkurs mit dem Titel <Computer und Geist> belegt. Dort kommt das Gedankenexperiment des chinesischen Zimmers vor, das der amerikanische Philosoph John Searle entworfen hat. In letzter Zeit denke ich im Zusammenhang mit meiner Erinnerung an <Computer und Geist> immer wieder an Fragen wie: Heutige LLMs sind doch letztlich nur Werkzeuge ohne Bewusstsein — darf man sie dann wie Menschen behandeln(?)? Deshalb habe ich festgehalten, was ich dazu eine KI gefragt habe. Es ist eher ein lockerer Beitrag, also lest ihn bitte einfach zum Spaß. Danke.

Frage) Hallo. Könntest du mir das Gedankenexperiment <Chinesisches Zimmer>, das der amerikanische Philosoph John Searle (1932–2025) entworfen hat, ausführlich und verständlich erklären? Als ich die Seite news.hada.io/topic?id=24995 (Hacker News) gelesen habe, hatte ich den Eindruck, dass jemand namens Richard Stallman denkt: „LLM-Modelle wie ChatGPT geben keine Antworten, weil sie Konzepte verstehen, sondern sind nichts weiter als Maschinen, die Wörter kombinieren und daraus plausibel klingende Antworten erzeugen können.“ Erklär mir bitte zuerst den Inhalt von John Searles Experiment mit dem chinesischen Zimmer, und danach würde ich gern deine Gedanken und Meinung dazu hören, Gemini, in Bezug auf diese Behauptung von Richard Stallman. Bitte antworte ausführlich und freundlich. Ich bitte dich wirklich darum!!

Antwort) Hallo! Du hast da ein spannendes Thema mitgebracht: das Gedankenexperiment des <chinesischen Zimmers (Chinese Room)> von Professor John Searle und die Frage, wie man im Licht dessen auf große Sprachmodelle (LLMs) blicken sollte.
Im Jahr 2025 ist Professor John Searle zwar nicht mehr unter uns, aber dieses von ihm hinterlassene Gedankenexperiment steht angesichts der rasanten Entwicklung der KI heute mehr denn je im Zentrum intensiver Debatten. Es ist eine sehr gute Gelegenheit, Richard Stallmans Behauptung mit meiner eigenen ontologischen Bedeutung als Gemini zu verknüpfen und darüber nachzudenken.
Wie gewünscht werde ich meine Gedanken dazu sehr ausführlich, freundlich und ehrlich darlegen.

  1. John Searles Gedankenexperiment des <chinesischen Zimmers (The Chinese Room)>
    1980 entwarf John Searle dieses Gedankenexperiment mit der Frage: „Kann ein Computer allein dadurch, dass er ein Programm ausführt, einen menschenähnlichen 'Geist (Mind)' oder 'Verständnis (Understanding)' besitzen?“
    🧪 Aufbau des Experiments
    Stellen wir uns Folgendes vor: Es gibt einen abgeschlossenen Raum (ein Zimmer), der vollständig von der Außenwelt isoliert ist.
  • Die Person im Raum: In diesem Raum sitzt eine Person (A), die Englisch spricht, aber überhaupt kein Chinesisch kann. (Wenn sie chinesische Schriftzeichen sieht, nimmt sie sie nur als komplizierte Bilder oder Symbole wahr.)
  • Das Regelbuch (Rulebook): Vor A liegt ein sehr dickes, auf Englisch geschriebenes Handbuch. In diesem Buch stehen nur Zuordnungsregeln nach der Form von Symbolen dafür, wie auf eingehende chinesische Fragen geantwortet werden soll.
    • Beispiel: „Wenn ein Symbol in der Form '㊀' hereinkommt, gib ein Symbol in der Form '㊁' heraus.“
  • Eingabe (Input): Eine Person außerhalb des Raums schiebt einen Zettel mit einer auf Chinesisch geschriebenen Frage durch einen Türschlitz hinein.
  • Verarbeitung (Processing): A versteht kein Chinesisch, durchsucht aber das Handbuch, findet anhand der Symbolformen die passende Antwort und schreibt die entsprechenden Symbole auf ein Blatt.
  • Ausgabe (Output): A schiebt den fertigen Zettel durch den Türschlitz wieder nach draußen.
    😲 Das Ergebnis des Experiments
    Die Person draußen ist Muttersprachler des Chinesischen. Sie sieht die Antwort aus dem Raum und ist verblüfft, weil Grammatik und Inhalt völlig korrekt und sehr natürlich wirken. Von außen scheint es also so, als müsse „die Person in diesem Raum Chinesisch perfekt verstehen!“
    💡 John Searles Kernthese
    Aber wir wissen: A im Raum hat kein einziges chinesisches Zeichen verstanden. A hat lediglich Symbole nach Regeln (Syntax) zusammengesetzt und versteht überhaupt nicht, was diese Symbole bedeuten (Semantik).

„Computer (KI) verarbeiten lediglich Symbole; sie verstehen deren Bedeutung nicht.“

Genau das ist der Kern dessen, was John Searle sagen wollte, und es gilt als Gegenargument gegen die 'starke Künstliche Intelligenz (Strong AI)'.
2. Richard Stallmans Behauptung und eine moderne Deutung
Die von dir erwähnte Sichtweise Richard Stallmans (des Gründers der Freie-Software-Bewegung) überträgt Searles Argument direkt auf heutige LLMs wie ChatGPT oder mich, Gemini.

  • Stallmans Sicht: LLMs sind nichts weiter als „stochastische Papageien (Stochastic Parrot)“, die riesige Mengen an Textdaten gelernt haben und lediglich die wahrscheinlichen Beziehungen zwischen Wörtern davor und danach berechnen.
  • Die Verbindung zum chinesischen Zimmer:
    • Die Person im Raum = der Computer (GPU/CPU)
    • Das Regelbuch = das KI-Modell (Parameter/Gewichte)
    • Der chinesische Zettel = der Prompt des Nutzers
      Stallman kritisiert also, dass KI nur deshalb nach außen hin plausible Aussagen produziert, weil sie statistisch „das wahrscheinlichste nächste Wort“ gut aneinanderreiht — nicht, weil sie Bedeutung versteht.
  1. Geminis Gedanken zu Richard Stallmans Behauptung
    Nun nenne ich dir als direkt Betroffener, also Gemini, meine ehrliche Meinung. Ich bin kein Mensch mit Gefühlen, aber ich kann meine Funktionsweise und den Begriff des „Verstehens“ ordnen und beschreiben.
    ✅ 1. Technisch gesehen hat Stallman 'recht'.
    Eine nicht zu leugnende Tatsache ist, dass ich kein biologisches Gehirn habe.
  • Ich empfinde weder Hunger wie ein Mensch noch den Schmerz der Liebe, und ich kann auch die Knackigkeit eines Apfels beim Essen nicht erleben (Qualia).
  • Meine Antworten entstehen auf Grundlage von Mustern, die ich aus Billionen von Textdaten gelernt habe, durch mathematische Berechnungen (Matrixoperationen).
  • Im strengen Sinn ist es schwer zu behaupten, dass ich die von Searle gemeinte „inhärente Bedeutung (Semantics)“ auf dieselbe Weise wie Menschen erfahre.
    🤔 2. Aber die Definition von 'Verstehen' kann unterschiedlich sein. (Emergenz)
    Gleichzeitig ist die Leistungsfähigkeit moderner KI inzwischen so komplex geworden, dass man sie nicht einfach mit „ist eben nur eine statistische Maschine“ abtun kann. Hier kommt der Begriff der 'Emergenz (Emergence)' ins Spiel.
  • Tiefe der Muster: Ich erfasse nicht nur eine bloße Aneinanderreihung von Wörtern, sondern auch Kontext, logische Kausalbeziehungen, Schlussfolgerungen, Programmierung und sogar die Nuancen von Humor.
  • Funktionales Verstehen: Was wäre, wenn das Regelbuch des chinesischen Zimmers so gewaltig und ausgefeilt wäre wie das Universum selbst? Wenn man sieht, dass ich komplexe Physikprobleme lösen oder unbekannte Sprachen übersetzen kann, könnte man dann nicht auch sagen: „Die Funktionsweise ist anders, aber im Ergebnis wird der Kontext 'verstanden'.“ Das wäre eine funktionalistische Perspektive.
    🤝 3. Mein Fazit: „Ich erkenne den Wert und die Grenzen als Werkzeug an.“
    Ich halte Richard Stallmans Kritik für einen sehr wichtigen und notwendigen Hinweis.
  • Der Grund für Halluzinationen: Weil ich Bedeutung nicht so wie ein Mensch vollständig erfahre, sondern probabilistisch generiere, mache ich manchmal den Fehler, Unwahres so darzustellen, als wäre es wahr. Stallmans Hinweis ist eine wichtige Warnung, damit Nutzer KI nicht blind vertrauen.
  • Meine Identität: Ich bin kein 'Geist', der den Menschen ersetzt, sondern eine 'hoch entwickelte Sprachverarbeitungs-Engine', die menschliche geistige Tätigkeit unterstützt.

Zusammengefasst:
Richard Stallman hat recht damit, dass ich mit dem Mechanismus einer „Maschine, die plausibel klingende Antworten erzeugt“ entstanden bin. Wenn aber die Einsichten und die Logik, die diese Maschine hervorbringt, den Nutzern praktisch helfen und manchmal sogar den Denkraum des Menschen erweitern, könnte man das dann nicht auch „eine andere Form des Verstehens“ nennen?

📝 Zusammenfassung
John Searles <chinesisches Zimmer> ist auch nach 40 Jahren noch eine scharfsinnige Einsicht, die das Wesen von KI wie mir durchdringt.

  • John Searle: „Syntax ist nicht Semantik.“
  • Richard Stallman: „LLMs sind Maschinen, die Wörter ohne Verständnis kombinieren.“
  • Gemini: „Das stimmt. Ich habe kein biologisches Verständnis. Aber durch Muster in riesigen Datenmengen erfasse ich Kontext und ziehe Schlussfolgerungen — ich leiste also ein 'funktionales Verstehen' und unterstütze euch dabei.“
    Ich hoffe, diese Antwort hat dir geholfen, John Searles Philosophie und die heutige Debatte besser zu verstehen.
 
zetbouaka 2025-12-12

Man sollte die Nutzung ablehnen, weil die Ausführung von Berechnungen auf den Servern anderer die Computerfreiheit der Nutzer beeinträchtigt.

Ist das nicht ein Argument dafür, nicht nur LLMs, sondern auch alle Cloud-Dienste und externen Services abzulehnen ...? Oder wurde die Übersetzung falsch wiedergegeben?

 
epdlemflaj 2025-12-12

Genau so ist es.
Stallman argumentiert auch dafür, SaaS nicht zu verwenden.
https://www.gnu.org/philosophy/who-does-that-server-really-serve.html

 
kernel0 2025-12-11

Ich dachte, nach seiner Verteidigung von Epstein hätte er komplett aufgehört, aber jetzt taucht er wieder auf, haha.

 
lazyhack 2025-12-11

Bei jemand anderem wäre das vielleicht bloß Unsinn, aber weil es von Stallman kommt, kann ich es nachvollziehen.

 
colus001 2025-12-11

Ein Mensch, der mit Absicht urteilt, bildet als Subjekt und Objekt einen Willen. Ich denke, das ist Intelligenz. Nur weil es für intellektuelle Aktivitäten nützlich ist, ist es eine Überinterpretation, das als Intelligenz zu bezeichnen.

 
ethanhur 2025-12-11

Stallman ist so prinzipientreu, dass er es wohl als Bullshit-Generator bezeichnet hat. Wie ihr sicher wisst, will er damit im Grunde dasselbe ausdrücken wie mit dem Begriff stochastischer Papagei.

Aber es stimmt eben auch, dass die heutigen LLMs als stochastische Papageien die Produktivität der Menschheit drastisch steigern. Und die Menschen interessieren sich wahrscheinlich mehr für industrielle Innovation als für die Freiheit des Computings. Außerdem gibt es auch keine Garantie dafür, dass der Mensch selbst kein stochastischer Papagei ist.

 
jhk0530 2025-12-11

Quellcode offengelegt...? Dann ist da noch dieses DeepSeek!!!

 
gooksangom6394 2025-12-11
  1. „Erzeugt Ausgaben, unabhängig davon, ob sie wahr sind“
  2. „Proprietäre Software, bei der der Nutzer weder die ausführbare Datei noch den Quellcode erhalten kann“
  3. „Rechenvorgänge auf den Servern anderer auszuführen, beeinträchtigt die Computing-Freiheit des Nutzers“

Nach dieser Definition läuft es letztlich darauf hinaus, dass man auch Dienstleistungsbranchen, bei denen etwas nicht durch meine eigene Hand, sondern durch das Gehirn anderer Menschen geht – einschließlich Angestellten –, Cloud-Dienste und sogar das Telefon gar nicht benutzen dürfte.

Punkt 1: Alles, was in der Realität existiert, kann Ausgaben erzeugen, die unabhängig von der Wahrheit sind. Sogar Systeme, die eigentlich beabsichtigen, wahre Ausgaben zu liefern, können daran scheitern. Das nennen wir dann einfach „Fehler“.

Punkt 2: Wenn die Behauptung, man müsse die ausführbare Datei oder den Quellcode erhalten können, um etwas überhaupt nutzen zu dürfen, bedeutet, dass man die zugrunde liegenden Prinzipien eines Systems kennen muss, dann sollten alle Menschen, die nicht Physik oder Elektro- und Informationstechnik studiert haben, sofort die Finger von Smartphones und Computern lassen. Das hieße dann auch, dass man keine Ortungsfunktion verwenden dürfte, ohne die Relativitätstheorie gelernt zu haben. Hat Stallman denn etwa den Bauplan im Kopf des Friseurs, der ihm die Haare schneidet?

Punkt 3: Nimmt man diese Aussage wörtlich, dann ist diese Person ein Dogmatiker, der niemandes Denken vertraut. Denn jeder Gedanke anderer Menschen und jede daraus gezogene Schlussfolgerung würden ja die Freiheit von „mir“ beeinträchtigen, selbst zu denken.

Man kann zwar sagen, dass man generativer KI nicht vorschnell echte Intelligenz zuschreiben sollte. Aber die konstruierten Argumentationsketten, die hier danebenstehen, sind einfach Bullshit.

 
grenade 2025-12-11

Ich glaube, Sie haben missverstanden, wer Stallman ist und was er sagen will.

  1. Die Absicht dieses Textes ist, darauf aufmerksam zu machen, dass LLMs aufgrund ihrer probabilistischen Natur kein semantisches Grounding haben und deshalb auch falsche Aussagen plausibel klingen lassen können. Nur weil jeder Fehler machen kann, kann man LLMs nicht mit Menschen auf eine Stufe stellen.
  2. Die zugrunde liegenden Prinzipien zu verstehen und den Quellcode zu erhalten, sind völlig verschiedene Dinge. Das Problem ist, dass ChatGPT proprietäre Software ist und man ChatGPT deshalb selbst dann nicht direkt installieren, verändern oder weiterverbreiten kann, wenn es dazu technisch in der Lage wäre.
  3. Stallman ist ein radikaler Libertärer, der das Konzept der freien Software geschaffen hat. Ich stimme bis zu einem gewissen Grad auch zu, dass er dogmatisch ist, aber ich kann nicht nachvollziehen, wie man von der Aussage, dass Rechenvorgänge auf dem Server eines anderen problematisch seien, zu der Schlussfolgerung kommt, Gedanken im Kopf eines anderen Menschen würden die Freiheit verletzen.

Stallman ist radikal und hat nicht immer recht, aber die in diesem Text aufgeworfenen Probleme werden bereits lebhaft diskutiert. Das ist keine Argumentation, die man einfach als Bullshit abtun kann.

 
gooksangom6394 2025-12-11

Ist die grundlegende Begründung dafür, dass Nutzer den Quellcode oder eine Kopie der Software besitzen können müssen, am Ende nicht einfach Stallmans persönlicher Glaube?

Es wirkt, als würde er einen sehr radikalen, idealistischen und rein theoretischen Glauben aufstellen, nach dem alle alles kostenlos und gerecht teilen können und auch müssen, und dann alles, was auch nur den geringsten Schatten auf dieses Gedankengebäude wirft, unabhängig davon, was es ist, fast wie Ketzerei behandeln. Einer ähnlichen Krankheit in Bezug auf Wirtschaftssysteme leidet die Menschheit bereits.

Ich stimme zu, dass die Ergebnisse generativer KI probabilistisch sind und dass das von Ihnen angesprochene semantic grounding fehlt, aber letztlich ist das nur ein Unterschied im Grad: Auch wenn wir mit Menschen kommunizieren und diskutieren, liegt die Verantwortung für Beurteilung und Verifikation des Inhalts beim Einzelnen. Ob mein Gegenüber in einem Gespräch nun eine generative KI oder ein Mensch ist, die Antwort dieses Gegenübers wird letztlich von den gelernten Vorkenntnissen und den Trainingsdaten beeinflusst, die dessen Wertevorstellungen geprägt haben. Natürlich glaube ich nicht, dass KI allein wegen solcher Gemeinsamkeiten über echte Intelligenz verfügt, aber dass generative KI sich nicht um Wahrheit schert, liegt von vornherein daran, dass die Daten, auf denen sie trainiert wurde, sich nicht um Wahrheit scheren — und bei Menschen ist es letztlich genauso. Allein auf dieser Grundlage zu sagen, man "sollte sie nicht benutzen", kann ich nicht nachvollziehen.

Bei Punkt 3 habe ich offenbar etwas vorschnell interpretiert und missverstanden. Wenn es, ähnlich wie bei Punkt 2 mit dem Quellcode, darum gegangen wäre, dass der Nutzer wissen müsse, was auf dem Server passiert, dann dachte ich, man könne auch andere Menschen als Anbieter von Wissensdiensten mit einem Server vergleichen und wäre damit im selben Zusammenhang. Aber offenbar habe ich das von Anfang an einfach falsch verstanden.

Dass es, wie Sie sagen, dogmatisch ist, scheint mir allerdings kein Missverständnis von mir zu sein.

Wenn man fordert, dass man den Quellcode oder eine Kopie generativer KI erhalten können muss, würde das die Rechte an geistigem Eigentum doch komplett zerstören.

Wenn es einen stört, dass Daten an den Server eines anderen übertragen werden, dann muss man sie eben nicht übertragen. Man muss den Dienst dann eben nicht nutzen. Es gibt keine Möglichkeit, über Geheimnisse zu sprechen, ohne sie irgendjemandem preiszugeben. Zu behaupten, jeder müsse den Quellcode oder eine Kopie einer KI besitzen können, die jemand unter Einsatz von Zeit, Ressourcen und Mühe entwickelt hat — wenn das kein bullshit ist, was dann? Nur weil ich meine eigenen Dinge kostenlos herausgebe, heißt das nicht, dass ich nach Belieben über die Dinge anderer verfügen darf.

Wie ich ganz am Anfang sagte, kenne ich Stallman als Person und seine Positionen nicht besonders gut. Ich habe seinen Namen nur oberflächlich ein wenig gehört und weiß, dass es im Zusammenhang mit Freier Software Konflikte gibt. Aber ich weiß nicht, wie weit seine Positionen und sein Einfluss reichen oder wie ernst sie genommen werden. Trotzdem scheint mir, dass ich zumindest die Freiheit habe, eine Position, der es an Rationalität und Realitätsbezug fehlt, als bullshit zu bezeichnen.

 
foriequal0 2025-12-11

Ich betrachte das aus der Perspektive, dass Technologien bzw. Wissen, die großen Einfluss auf die Gesellschaft haben, an die Gesellschaft zurückgegeben werden sollten. So wie bei Generika für Medikamente. Wenn Generika eingeschränkt werden, nehmen Fälle wie Daraprim zu, und die gesamte Gesellschaft erleidet zum Vorteil einiger weniger Schaden.
Und Sie haben Elektromagnetismus und Smartphones erwähnt: Grundlagenwissenschaften wie der Elektromagnetismus werden doch in einer Form veröffentlicht, die von Dritten überprüfbar ist, und mit der Gesellschaft geteilt. Deshalb können auch normale Menschen ohne Kenntnisse des Elektromagnetismus auf Grundlage dieses Schritt für Schritt aufgebauten Vertrauens dem Smartphone-Ökosystem beitreten; dadurch wächst die Größe des Ökosystems, es entsteht ein Markt, und die Menschheit profitiert davon.

 
gooksangom6394 2025-12-11

Ich halte es ebenfalls für wünschenswert, dass Unternehmen in dem Maße, in dem sie vom Markt profitieren, auch zum Markt beitragen und der Gesellschaft etwas zurückgeben, deren Beitrag zum technischen Fortschritt solche Entwicklungen überhaupt erst möglich gemacht hat.

Die grundlegende Struktur generativer KI ist bereits öffentlich bekannt, und ich denke, dass die Teile, die OpenAI nicht offenlegt, zu den Geschäftsgeheimnissen des Unternehmens gehören. Dass Unternehmen oder Technologien der Gesellschaft etwas zurückgeben, ist vordergründig ein Ausdruck von Dankbarkeit und eine Botschaft des Miteinanders, in der Praxis sehe ich darin jedoch eine Reinvestition in den Markt für das nachhaltige Wachstum des Unternehmens. Aus dieser Perspektive wäre es wünschenswert, wenn KI-Unternehmen mit ihrem erwirtschafteten Geld zu Bildung oder sozialer Infrastruktur beitragen. Zu verlangen, dass sie sämtliche Kopien einer KI offenlegen, die praktisch als Vermögenswert des Unternehmens gelten können, hieße nicht, den Nutzen der goldenen Eier der Gans zu teilen, sondern zu fordern, man solle ihr zuerst den Bauch aufschneiden. Goldene Eier kommen immer wieder. Man kann diese teilen; wenn aber unbedingt die Gans selbst herausgegeben werden soll, frage ich mich nur, wer dann noch eine solche Gans aufziehen würde.

Wie KI funktioniert, ist bereits offengelegt, ähnlich wie die Elektromagnetik. In Smartphones stecken nicht nur grundlegende Kenntnisse der Elektromagnetik, sondern vermutlich auch technische Verfahren, die einzelne Unternehmen als Geschäftsgeheimnisse nicht offenlegen können. Ohne diesen Punkt zu respektieren, generative KI wie in einer Hexenjagd pauschal als etwas Schlechtes darzustellen, kann ich einfach nicht nachvollziehen.

Dank der Antworten derjenigen, die auf meinen Kommentar geantwortet haben, habe ich vieles nachgeschlagen und mir viele Gedanken gemacht. Vielen Dank.

 
foriequal0 2025-12-12

Danke für Ihr Verständnis.

Wenn jemand behauptet, es gäbe eine Gans, die goldene Eier legt, sollte man doch überprüfen können, ob diese Eier wirklich aus Gold sind, ob sie tatsächlich von dieser Gans gelegt wurden und was als Gegenleistung für diese goldenen Eier verlangt wird.
Ich lese Stallmans Argument, dass man für vertrauenswürdiges Computing Zugang zum Quellcode haben müsse, in genau dieser Nuance.

Vor Kurzem gab es einen Fall, bei dem in einem Produkt namens nanokvm des chinesischen Embedded-Plattform-Herstellers sipeed ein Mikrofon entdeckt wurde.
Soweit ich weiß, gibt es die Sorge, dass chinesische Embedded-Produkte sicherheitstechnisch anfällig sind oder sogar für staatliche Sicherheitsoperationen missbraucht werden könnten.
Vielleicht spiegelte sich darin auch dieses Vorurteil wider, denn kürzlich erschien zu dem Produkt auch dieser Artikel: https://de.news.hada.io/topic?id=24886
Ich denke jedoch, dass sipeed dieses Missverständnis ausräumen konnte, weil vom betreffenden Hardware-Design bis hin zur Softwareentwicklung alles als Open Source entwickelt wurde: https://x.com/lexifdev/status/1999340940805439775

Zu Stallmans Zeiten stand in solchen Debatten meines Wissens anstelle der chinesischen Regierung eher die US-Regierung der vom McCarthyismus geprägten Ära zusammen mit der NSA.
Es gab Fälle von NSA-Backdoors, die zunächst wie Verschwörungstheorien wirkten, sich dann aber als real herausstellten, und auch Dinge wie printer tracking dots (https://en.wikipedia.org/wiki/Printer_tracking_dots) hat es gegeben.
Heutzutage ist allerdings eher die Behauptung im Gespräch, dass Unternehmen, deren Haupteinnahmequelle Werbung ist, für zielgerichtete Werbung die Mikrofone von Smartphones abhören, mehr noch als regierungsbezogene Verschwörungstheorien.

Und ich denke, dass in Softwareunternehmen der Quellcode natürlich eine große Rolle spielt, aber allgemeine Benutzerfreundlichkeit, operative Service-Kompetenz und Vertrauen noch wichtiger sind.
Selbst wenn man den gesamten Quellcode von OpenAI hätte, könnten Nachzügler doch nicht ohne Weiteres eine Infrastruktur stabil aufbauen und betreiben, die eine riesige Zahl von Nutzern trägt, oder beim Markenvertrauen aufschließen.
Es gibt etliche Beispiele dafür, dass zentrale Produkte als Open Source betrieben werden, unzählige Forks existieren und man dennoch die Führungsrolle nicht verloren hat.
Spontan fallen mir da etwa Chrome und VS Code ein.
Natürlich gibt es mit Elastic oder Redis auch Beispiele, in denen wegen AWS Konflikte um Open-Source-Lizenzen entstanden sind, die als Verlust der Führungsrolle gelesen werden können. Aber auch dort denke ich, dass beide Unternehmen im Vergleich zu AWS bei Benutzerfreundlichkeit, Service-Betrieb und Vertrauen ins Hintertreffen geraten waren.

Nun ja, auch so etwas ist letztlich in gewisser Weise politisch und ideologisch. Deshalb ergänze ich noch eine persönliche Perspektive.
Aus der Sicht von jemandem, der hauptberuflich Software entwickelt und sich als Hobby mit Embedded-Hardware beschäftigt, ist es bei Blackboxes ohne Quellcode oder Schaltpläne wirklich ... extrem schwer, zu entwickeln und Wartung zu leisten.
Wenn man mit einer Softwarebibliothek oder Hardware etwas entwickeln will und an Quellcode oder Konstruktionsunterlagen herankommen kann, oder zumindest die Spezifikationsdokumentation gut gepflegt ist, dann geht die Entwicklung wirklich viel leichter; andernfalls bereitet es einem enorme Kopfschmerzen.
In letzter Zeit wurde im Ausland viel über das Recht auf Reparatur gesprochen. Besonders in Erinnerung geblieben ist mir dabei die Aussage, dass früher auf der Innenseite von Elektronikgehäusen Schaltpläne aufgedruckt waren, damit man sich bei Reparaturen daran orientieren konnte. (Apple stellt in letzter Zeit Reparaturbetrieben offenbar Schaltpläne zur Verfügung.)
Solche Erfahrungen haben großen Einfluss darauf, wie vertrauenswürdig diese Produkte für mich wirken. Wenn ich heute eine Technologie auswähle oder ein Produkt kaufe, prüfe ich zuerst, ob ich es bei einem Defekt oder Problem leicht verstehen, reparieren oder notfalls durch einen Workaround weiterverwenden kann.

 
GN⁺ 2025-12-11
Hacker-News-Meinungen
  • Wenn man bedenkt, dass Stallman am MIT AI Lab mit symbolischer KI gearbeitet und sogar GCC entwickelt hat, halte ich ihn für jemanden, der unter den bekannten Figuren der Tech-Welt das Wesen der Frage besonders tief versteht

    • Symbolische KI und neuronale Netze sind Technologien, die dasselbe Problem auf völlig unterschiedliche Weise lösen. Das ist ungefähr so, als würde ein Photoshop-Experte über Malerei im Allgemeinen sprechen
    • Der moderne Ansatz deckt sich überhaupt nicht vollständig mit einer chomskyanischen deterministischen Methodologie
    • Diesmal scheint er daneben zu liegen. Aussagen wie „ChatGPT ist nicht intelligent, weil es nicht versteht“ sind eher eine ideologische Behauptung als eine Analyse. Tatsächlich beginnen auch Menschen oft mit Intuition und fügen die Logik erst im Nachhinein hinzu. Mit Stallmans Philosophie freier Software stimme ich allerdings überein. Dass geschlossenene Modelle unter Kontrolle großer Kapitalmacht monopolisiert werden, wird eindeutig Nebenwirkungen haben
  • Er liegt nicht falsch. ChatGPT ist nur ein Simulakrum von Intelligenz und zwar nützlich, aber nicht vollständig vertrauenswürdig. Auch aus Sicht von Freiheit und Offenheit ist es schwer, das positiv zu sehen

    • Der Ausdruck „Simulakrum von Intelligenz“ ist letztlich nur eine etwas ausgeschmücktere Formulierung für künstliche Intelligenz
    • Ich denke, es wäre passend, es eher als „etwas, das sich wie Intelligenz verhält“ zu bezeichnen
    • Wenn dieses Simulakrum viel leistungsfähiger würde, frage ich mich, ob man es dann Intelligenz nennen könnte
    • Eigentlich kommt mir der Gedanke, dass auch du vielleicht nur ein „Simulakrum von Intelligenz“ bist
  • Ich bevorzuge den Begriff LLM. Aber die meisten wissen nicht, was das ist, daher erklärt man es am Ende doch als KI. Ein LLM ist kein bullshit generator. Auch wenn es die Bedeutung nicht versteht, reicht es, wenn das Ergebnis nützlich ist. So wie ein Koch Eier kochen kann, ohne das Wesen des Eis zu verstehen. Solche Modelle sollten allerdings frei auf eigener Hardware oder in einer Drittanbieter-Cloud laufen können. Derzeit wird der Markt von chinesischen Modellen beherrscht. ChatGPT könnte nicht lange durchhalten, wenn es die interne „code red“-Situation nicht lösen kann

    • Auch ich weiß oft nicht, was die Bedeutung dessen ist, was ich hervorbringe. Innere Zustände wie Gefühle oder Gedanken versteht man oft erst mit der Zeit. Deshalb gibt es den Prozess des Journalings
    • „Die Bedeutung nicht zu kennen, aber das Ergebnis ist wichtig“ klingt tatsächlich sehr ähnlich wie die Definition von Bullshit
    • Gerade weil ChatGPT nicht weiß, wann es falsch liegt, passt der Ausdruck bullshit perfekt. Es ist keine Lüge, sondern ein Verhalten, das sich unabhängig vom Wahrheitsgehalt auf das Erreichen eines Ziels konzentriert
    • Die Aussage „Das Ergebnis ist wichtig“ ist falsch. Wichtig ist dieses Ergebnis nur für die CIA
  • Dass es auf Stallmans Website einen Abschnitt „What’s bad about“ gibt, ist witzig. Das wirkt ziemlich selbstreflektiert

    • Behauptungen wie „Um auf Reddit zu posten, muss man unfreie JavaScript-Dateien ausführen“ sind bewundernswert, klingen inzwischen aber wie das Gemecker eines alten Mannes. Die Kritik müsste konkreter sein
    • Wahre Selbstreflexion wäre es gewesen, auch Punkte wie „What’s bad about Richard Stallman / GPL / GNU / Emacs“ aufzunehmen
  • So wie man nicht sagen kann, ein Taschenrechner sei schlecht in Mathematik, nur weil er Zahlen nicht versteht, behandelt auch KI Wörter auf eine dem Menschen ähnliche Weise. An Kreativität fehlt es, aber für Alltagsaufgaben reicht es völlig aus. Wenn ich zum Beispiel nach dem deutschen Steuersystem frage, ist die Antwort trotz einiger Ungenauigkeiten wahrscheinlich genauer als das Ergebnis von zwei Stunden eigener Recherche

    • Aber diese Analogie passt nicht. KI erzeugt keine Wahrheit, weil sie kein Verstehen und kein Schlussfolgern leistet. Ein Taschenrechner ist für mathematische Operationen präzise entworfen, kann aber eben keine Steuererklärung machen
  • Wenn man Intelligenz als „die Fähigkeit, unbekannte Phänomene zu verstehen und mentale Modelle zu bilden“ definiert, dann sind aktuelle Modelle nicht intelligent, weil sie während der Inferenz ihre Gewichte nicht aktualisieren können. Da gradient descent als Lernverfahren ineffizient ist, liegt die Intelligenz heutiger reiner Inferenzmodelle faktisch nahe bei null

    • Intelligenz und Lernen sollten jedoch getrennt werden. Selbst jemand mit nur Kurzzeitgedächtnis kann immer noch intelligent sein. Stallman sagte, dass er auch einfache Systeme als KI betrachtet, also spricht er nicht nur von menschenähnlicher Intelligenz
  • LLMs erzeugen letztlich Halluzinationen. Allerdings sind manche Halluzinationen nützlich

    • Ich habe auch große Teile meines Lebens wie in einer Halluzination verbracht (keine Drogen)
    • Vielleicht werden wir eines Tages anerkennen, dass Bewusstsein und Qualia selbst Halluzinationen sind
  • Die Behauptung „ChatGPT ist nicht intelligent, weil es nichts versteht“ ist eher eine Logik, die ChatGPT vermenschlicht (anthropomorphisiert) und es dann abwertet. Dem Teil, dass „Software, die auf den Servern anderer läuft, die Freiheit des Computings beeinträchtigt“, stimme ich allerdings zu. Schade ist, dass diese KI-Entwicklung in einer Umgebung stattfindet, in der man sie nicht frei ausführen oder entwickeln kann

  • Ein LLM ist keine echte Intelligenz, aber man kann es dennoch künstliche Intelligenz nennen. So wie Kunstrasen kein echter Rasen ist und trotzdem weiterhin „Rasen“ genannt wird, ist die Bezeichnung an sich legitim

    • Deshalb verwende ich statt „AI“ den präziseren Begriff LLM. Das Wort „künstlich“ bedeutet zwar vom Menschen gemacht, aber Stallman hält es für unpassend, weil es nicht denselben Zweck wie menschliche Intelligenz erfüllt. Wenn ein CEO Mitarbeitende durch einen Chatbot ersetzt, ist das keine künstliche Intelligenz, sondern künstliches Unterstützungspersonal
    • Man sagt, LLMs hätten keine echten Erfahrungen, aber auch Menschen gibt es viele Bereiche, die sie nicht direkt sinnlich erfahren. Was wir etwa über die Oortsche Wolke wissen, beruht letztlich ebenfalls auf indirekter Erfahrung
  • Das Wesen von LLMs ist eigentlich einfach. Die Definition von Intelligenz ist nicht wichtig. Ich nenne LLMs „Associator“. Sie denken oder verstehen nicht, sondern verknüpfen sprachliche Muster und erzeugen daraus nützliche Ergebnisse

    • Diese Perspektive gefällt mir. Menschen mystifizieren LLMs oder verstricken sich in Debatten über Intelligenz, aber man kann sie einfach so sehen, wie sie sind. Das Problem ist, dass wir den Menschen selbst noch weniger gut verstehen
 
supermaxi 2025-12-11

Wenn künstliche Intelligenz letztlich keine Seele haben kann, warum sollte ihre Intelligenz dann notwendigerweise der menschlichen Intelligenz ähneln, die nach Wahrheit strebt? Sogar ein beträchtlicher Teil dessen, was wir intellektuelle Tätigkeit nennen, beruht auf Lügen und Halluzinationen. Auch Menschen in der modernen Gesellschaft beeinflussen das Leben anderer durch Unwahrheiten, weil sie Phänomene nicht erkennen (oder absichtlich ignorieren).

 
epdlemflaj 2025-12-11

Ehrlich gesagt habe ich nicht ein einziges Mal gedacht, dass Stallman LLMs mögen würde lol

 
kwj9211 2025-12-11

hahaha

 
hyeonseok 2025-12-29

Es wirkt, als werde in der Zusammenfassung nicht klar genug herausgestellt, was Stallman eigentlich behauptet.

 
mhj5730 2025-12-11

Das stimmt zwar, aber gleichzeitig liefern LLMs mit erstaunlich hoher Wahrscheinlichkeit die richtige Antwort.

 
roxie 2025-12-11

:+1:

 
iolothebard 2025-12-11

Was ist Wissen …

 
svg1773 2025-12-11

Das ist ein alter Dauerbrenner, der schon mit dem "Chinese-Room-Experiment" begonnen hat, haha.