- Generative KI wie ChatGPT arbeitet, indem sie Internettexte plausibel vorhersagt und imitiert, statt Logik oder Fakten zu überprüfen, und wird deshalb als Automatisierung von Bullshit kritisiert
- Rodney Brooks’ Zusammenfassung, dass das System „Dinge erfindet, die plausibel klingen“, berührt sich mit dem stochastic parrots-Paper von Emily Bender und Timnit Gebru sowie mit Murray Shanahans Analyse großer Sprachmodelle
- In Harry Frankfurts Definition ist Bullshit nicht wie eine Lüge eine Aussage gegen die Wahrheit, sondern Rede, der die Wahrheit gleichgültig ist – daher die Verbindung zu den Ausgaben von ChatGPT
- Geoff Hinton sieht die Gefahr von Chatbots weniger in Superintelligenz als in ihrer Fähigkeit, auch ohne Intelligenz überzeugende Texte in großer Menge zu erzeugen, und warnt vor der Automatisierung politischer Überzeugung
- Was KI womöglich leichter ersetzt als wertvolle Arbeit, sind Bullshit Jobs wie sinnlose Berichte, Weitergabe von Informationen oder Beschwerdebearbeitung; deshalb sollte Regulierung sich weniger auf KI selbst als auf die Produktion und Verbreitung von Bullshit richten
Warum ChatGPT wie ein Bullshit-Generator wirkt
- ChatGPT basiert auf einem Algorithmus, der Textmuster und nicht Logik oder Fakten aus dem Internet imitiert
- Rodney Brooks fasst ChatGPT als ein System zusammen, das „einfach Dinge erfindet, die plausibel klingen“
- „Plausibel klingen“ hängt mit dem Algorithmus zusammen, der Internettexte imitiert
- „Erfindet“ verweist darauf, dass das System eher auf Zufälligkeit bei der Textvorhersage als auf Logik oder Fakten setzt
- Das stochastic parrots-Paper von Emily Bender, Timnit Gebru und Kolleg:innen sowie Murray Shanahans Diskussion großer Sprachmodelle behandeln dasselbe Prinzip der Textvorhersage in technischerer Form
Frankfurts Definition: Rede ohne Interesse an der Wahrheit
- In Harry Frankfurts On Bullshit weist der Bullshitter die Autorität der Wahrheit nicht wie ein Lügner zurück, schenkt der Wahrheit aber überhaupt keine Aufmerksamkeit
- Diese Definition trifft sich mit den Analysen von Brooks, Bender, Shanahan und Hinton zur Funktionsweise von ChatGPT
- Frankfurt sieht Bullshit als einen größeren Feind der Wahrheit als die Lüge
- Eine Lüge setzt zumindest eine Beziehung zur Wahrheit voraus
- Bullshit ist schwer zu vermeiden, wenn jemand sprechen muss, obwohl er nicht weiß, wovon er spricht
Das politische Risiko überzeugender Texte
- Geoff Hinton sieht das zentrale Risiko von Chatbots weniger in Superintelligenz an sich als in der Fähigkeit, auch ohne Intelligenz sehr überzeugende Texte zu erzeugen
- Diese Sorge steht in Verbindung mit Formen politischer Überzeugung wie bei Donald Trump und Boris Johnson
- In einer Welt, in der Belege und Logik in öffentlichen Debatten nicht respektiert werden, können Systeme, die ohne Belege oder Logik arbeiten, schlechte politische Führer mit übermenschlich überzeugenden Texten nachahmen und ersetzen
Bullshit Jobs und KI-Automatisierung
- David Graebers Bullshit Jobs lässt sich mit Elon Musks Aussage gegenüber dem britischen Premierminister über eine KI-Zukunft verbinden, in der „niemand arbeiten muss“
- Graeber analysiert, dass mehr als 30 % der britischen Beschäftigten glauben, ihre Arbeit trage keinerlei gesellschaftlichen Wert bei
- Dazu gehören das Schreiben bedeutungsloser Berichte, das Weiterreichen von Nachrichten zwischen Menschen und das Anhören unlösbarer Beschwerden
- Alle Teile dieser Aufgaben könnte ChatGPT leicht übernehmen
- Ein Teil universitärer Bildung kann junge Menschen darauf trainieren, sich bürokratischen Verfahren zu unterwerfen und lange Texte zu schreiben, die fast niemand liest
- In einer Ausbildung, die Persönlichkeiten wie Boris Johnson hervorbringt, können sprachliche Gewandtheit und unterhaltsame Argumente höher belohnt werden als sorgfältige Aufmerksamkeit für die Wahrheit
Trainingsdaten und Fokus der Regulierung
- KI-Systeme wie ChatGPT werden mit riesigen Bullshit-Archiven wie Twitter, Facebook und Reddit trainiert, ebenso wie mit Quellen, die echte Fakten enthalten, etwa Wikipedia oder Texte professioneller Autor:innen
- In ChatGPT gibt es keinen Algorithmus, der prüft, welche Teile wahr sind
- So wie Twitter den Bullshit von Politiker:innen fördert, denen Wahrheit und Falschheit gleichgültig sind, können deren Hinterlassenschaften zum Training automatischer Bullshit-Generatoren verwendet werden
- Reguliert werden sollte nicht die KI selbst, sondern Bullshit
- Um zwischen wertvoller Arbeit und Arbeit zu unterscheiden, die man bereitwillig abschaffen kann, braucht es eher Gipfeltreffen zu Bullshit als KI-Gipfel
Weiterführende Lektüre
- Designing Alternatives to AI erscheint voraussichtlich 2024 bei MIT Press; eine kostenlose Online-Vorschau ist verfügbar
- Murray Shanahans Talking About Large Language Models ist unter arXiv:2212.03551 verfügbar
- Ein Text zu Rodney Brooks erschien bei IEEE Spectrum unter “Just Calm Down About GPT-4 Already”
1 Kommentare
Hacker-News-Kommentare
Ich denke, dieser Artikel hat in vielerlei Hinsicht recht. LLMs scheinen nach dem Prinzip zu funktionieren: „Wird das als richtige Antwort durchgehen?“, und nicht nach dem Muster: „Da dies so funktioniert, lautet eine vernünftige Antwort auf die Frage so.“
Allerdings muss man auch anerkennen, dass LLMs an manchen Stellen tatsächlich gute Antworten erzeugen. Etwa wenn man nach einem Code-Snippet fragt und es korrekt trifft: Eine Antwort, die den Plausibilitätscheck besteht, kann zufällig eine gute Antwort sein – aber sie ist trotzdem eine gute Antwort.
Der Kernpunkt ist: Um zu wissen, ob ein LLM richtigliegt, muss ich bereits wissen, was ich tue. Wenn ich als Nicht-Historiker cGPT bitte, einen Essay über die Ursachen des Ersten Weltkriegs zu schreiben, klingt das plausibel; aber ich weiß nicht, ob es die Punkte behandelt, die ein echter Historiker für wichtig halten würde. Es liefert lediglich eine durchschnittliche Antwort, die jemand, der ein wenig darüber gelesen hat, für richtig halten könnte.
Die meisten Menschen sind nur in einem Fachgebiet Experten, also gibt es keine Möglichkeit zu verhindern, dass mich ein LLM in allen Bereichen täuscht, in denen ich mich nicht auskenne. Deshalb sollte man vorsichtig sein, wenn man es außerhalb des eigenen Fachgebiets nutzt.
LLMs im heutigen Stand sehe ich als Shortcut-Tool für Experten. Ich kann beurteilen, ob ein Code-Snippet in meinem Zuständigkeitsbereich richtig oder falsch ist; jemand, der nicht in diesem Bereich arbeitet, kann jedoch getäuscht werden.
LLMs sind hervorragend darin, etwas zu erzeugen, das wie kohärente Sprache aussieht – etwa indem Wortarten an den Stellen im Satz auftauchen, an denen man sie erwartet. Das Problem ist, dass Sprachmodellierung und Wissensmodellierung sehr eng miteinander verbunden sind, sodass Menschen den Teil der Wissensmodellierung, der zufällig mitentsteht, für etwas Tieferes halten.
Konventionell betrachtet ist der Wert eines 50%-Sortieralgorithmus aber nicht 50 % eines korrekt funktionierenden Sortierverfahrens, sondern 0. Sortieren ist normalerweise Teil eines größeren Systems, und dieses System setzt voraus, dass das Sortieren zu 100 % funktioniert.
Lange Zeit gab es Bereiche, in denen „Machine-Learning“-Methoden schon dann als erfolgreich galten, wenn sie nur zu 80 % richtiglagen. Interessant an LLMs ist, dass sie in manchen Machine-Learning-Problemen die Messlatte auf 90 % anheben, während sie bei anderen Aufgaben, die sich algorithmisch zu 100 % lösen ließen, die Standards senken.
Ich habe früher einmal das Abstract einer Studie gelesen, die die Leistung von Menschen verglich, die Schachsoftware nutzen durften, mit der von Menschen, die das nicht durften. Der stärkste Erfolgsprädiktor war nicht die reine Schachstärke, sondern ob man die Software effektiv nutzen konnte.
Ein weiterer Bereich, in dem ich die öffentliche Forschung nicht gut kenne, es aber viele anekdotische Hinweise gibt, ist Algorithmic Trading. In erfolgreichen Firmen überwachen fast immer Menschen das Verhalten der Algorithmen. Wenn sich ein Algorithmus seltsam verhält oder die Bedingungen nicht passen, kann ein Mensch das bemerken und Parameter anpassen – oder ihn abschalten, wenn er völlig durchdreht. Ehrlich gesagt dürfte ein erheblicher Teil dieser Aufsicht eine Folge des Knight-Capital-Vorfalls sein.
Der Punkt ist: Ich stimme zu, dass LLMs derzeit ein Werkzeug für Menschen mit Erfahrung im jeweiligen Bereich sind, aber es ist trotzdem ein ziemlich großer Fortschritt. So wie führende quantitative Hedgefonds von Menschen gemanagte Fonds konsequent übertreffen, werden kluge Menschen, die dieses Tool gut einsetzen, vorne liegen. Entscheidend ist, zu lernen, worin es gut ist, worin nicht, und wie man seine Ausgaben überprüft.
Auch wenn ich Wissen brauche, finde ich es schneller selbst, als mich mit einem Computer darüber zu unterhalten. Zu echter Expertise gehört auch die Fähigkeit, diesen Suchprozess zu beherrschen und zu verschlanken.
Dagegen tut es sich schwer, etwas zu erzeugen, das es noch nie gesehen hat oder das keine nahe Variation davon ist.
Wenn das stimmt, frage ich mich, warum ich gestern mit ChatGPT 3.5 nur 10 Sekunden gebraucht habe, um eine extrem obskure Tatsache zur Geschichte des 18. Jahrhunderts zu finden. Mit der Google-Suche bin ich nach über einer Stunde gescheitert.
ChatGPT gab mir anfangs eine falsche Antwort, weil meine Frage nicht präzise genug war, aber nachdem ich ein paar Dinge klargestellt hatte, lieferte es eine plausibel richtige Antwort, und nach weiteren 1–2 Minuten Recherche und Verifikation war ich zu 100 % überzeugt, dass diese Antwort tatsächlich stimmte.
Auch die Behauptung „KI-Systeme wie ChatGPT trainieren sowohl auf riesigen Bullshit-Archiven wie Twitter, Facebook und Reddit als auch auf echten Fakten wie Wikipedia und Texten, die von professionellen Autoren gescraped wurden, haben aber keinen Algorithmus, um zu prüfen, welcher Teil wahr ist. Die Ausgabe ist buchstäblich Bullshit“ wirkt seltsam.
Philosophen, Mathematiker, Wissenschaftler und Romanautoren lernen ebenfalls aus einer Mischung aus echten Fakten und riesigen Bullshit-Archiven. Es gibt etablierte Arbeiten anderer, Schulbildung und Experimente, aber auch Alltagserfahrungen, die man nicht Wissenschaft nennen kann, Geplauder ähnlich wie Twitter-Konversationen, Propaganda und Lügen. Wenn das so ist, wäre auch ihre Ausgabe Bullshit, und darüber hinaus alles, was die Menschheit geschaffen hat.
Sie wissen vielleicht nicht, dass sie die Frage anpassen und zusätzliche Recherchen machen müssen. Wenn man GPT in einem automatisierten System einsetzen will: Wie soll dieses System erkennen, was falsch und was richtig ist?
Dass ChatGPT und ähnliche Modelle bei solchen Aufgaben, also als Ersatz für Google Search, besonders stark sind, scheint mir nicht besonders strittig zu sein.
Die abschließende Bewertung lautet: Ist es günstiger, die Informationen selbst auszugraben, oder ist es günstiger, den Suchraum mit KI einzugrenzen? Unter der Annahme, dass man verifiziert, halte ich Letzteres für richtig.
Umgekehrt heißt es in Terry Pratchetts Wyrd Sisters: „Dinge, die versuchen, wie Dinge auszusehen, sehen oft mehr wie Dinge aus als Dinge. Das ist eine bekannte Tatsache. Aber ich fördere das ungern.“
Deshalb sind LLMs viel besser, als die abwertenden Behauptungen nahelegen, sie seien Bullshit oder stochastische Papageien, und gleichzeitig nicht so gut wie Domain-Experten.
Ich denke, LLMs haben sichtbar gemacht, dass wir mindestens zwei Denkweisen haben.
Die eine ähnelt der Funktionsweise von LLMs und ist im Kern Next-Token-Prediction. Man kann sich den Geisteszustand vorstellen, wenn man tief in ein Gespräch versunken ist. Es ist keine wirklich bewusste Handlung, und manchmal überrascht man sich selbst. Wenn man ein Kind ist oder sich in einem kindischen Zustand befindet, kann man in diesem Moment irgendetwas erfinden, ohne es zu merken.
Denkt man dagegen an einen Moment, in dem man ein wirklich schwieriges Problem lösen musste, ist es anders. Das ist eine sehr bewusste Handlung: Man lenkt die Aufmerksamkeit hin und her und schlussfolgert, wie alles zusammenpasst und was man ändern müsste, um das Problem zu lösen. Es ist auch gut möglich, dass man beim Modellieren des Problems im Kopf keine Sprache verwendet.
LLMs tun Ersteres, und selbst in diesem frühen Stadium machen sie das sehr gut. Erstaunlich ist, wie weit man allein mit dieser Methode kommen kann. Wenn man mit einem übermenschlichen Wissensstand in den Gesprächsmodus geht, lassen sich tatsächlich auch einigermaßen schwierige Probleme lösen.
Das passt meiner Meinung nach auch zu unserer Erfahrung. In Bereichen, die man sehr gut kennt, stellt man manchmal fest, dass man ein Problem löst, indem man einfach Sätze formuliert.
Die Wissensstrukturen, die wir aufbauen, sind symbolisch. Symbole stehen für Abstraktionen, also Klassen, und umfassen auch Beziehungen zwischen Symbolen. Menschliche Kreativität besteht darin, auf Grundlage neuer Wahrnehmungseingaben neue Symbole oder neue Beziehungen zwischen bestehenden Symbolen zu erzeugen; das ist ein Prozess der Abduktion. Solche Wissensstrukturen sind mächtig, weil sie es erlauben, auf einem soliden Fundament einen riesigen Turm zu bauen.
Wenn man sagt, dass man bei einem Thema, das man sehr gut kennt, manchmal ein Problem löst, indem man nur Sätze bildet, bedeutet das, dass in diesem Thema Klarheit vorhanden ist und der Gedankenstrom mit der Wissensstruktur übereinstimmt. Mit anderen Worten: Man versteht es wirklich. Meiner Erfahrung nach bleiben jedoch nur sehr wenige Menschen innerhalb ihrer tatsächlichen Kompetenz, und die meisten reden auch über Themen, zu denen sie keine Wissensstruktur haben. Auch das Selbstbewusstsein dafür, worüber man tatsächlich eine Wissensstruktur besitzt – also zu wissen, was man nicht weiß –, ist selten.
LLMs sind Rubber Ducks, die antworten, im Guten wie im Schlechten.
Die verbreitete Interpretation war, dass die meisten Menschen ausschließlich auf die erste Weise denken.
Diese Deutung wird langsam ermüdend. Ein LLM ist zwar ein Papagei, aber ein Papagei, der menschliche Sprache nachahmt, und menschliche Sprache scheint unsere Fähigkeit zum Schließen in ihrer Struktur zu kodieren. Wenn man Sprache also gut genug imitiert, beginnt man auch, Schlussfolgerungsfähigkeit zu imitieren.
Dass LLMs kein besonders präzises Gedächtnis haben, sollten wir inzwischen eigentlich hinter uns lassen. Dieses Problem lässt sich, wenn auch nicht vollständig, so doch größtenteils lösen, indem man die Informationen, nach denen man fragen will, wie bei Bing direkt in den Prompt packt. ChatGPT ist im Zusammenfassen viel besser als im exakten Abrufen von Fakten.
Und in den meisten Fällen ist das nicht entscheidend. Wenn man mit ChatGPT etwas lernt oder ein Problem löst, ist es der Ausgangspunkt, nicht das Ende. Wenn alle das verstehen, gibt es kein Problem. Ich habe noch niemanden gesehen, der die Ausgabe als zu 100 % faktisch behandelt, und auch die KI-Unternehmen behaupten das nicht.
Es gibt tatsächlich Menschen, die die Ausgabe als zu 100 % faktisch behandeln.
https://www.nytimes.com/2023/06/08/nyregion/lawyer-chatgpt-s...
Wenn man Unsinn in einen Taschenrechner eingibt, kommt Unsinn heraus. In vielen Fällen muss man die Fakten eingeben. Dinge wie RAG automatisieren das.
Deshalb scheint ChatGPT stark in Richtung RAG auszubauen: Es passt besser dazu, wie Nutzer erwarten, dass dieses Tool funktioniert.
Menschen, die glauben, die Welt funktioniere über Fakten, haben Schwierigkeiten, LLMs zu verstehen. Mit ChatGPT eine Lösung für ein Problem zu finden, funktioniert genauso wie mit einem Menschen: durch Gespräch.
Für mich persönlich hat ChatGPT meinen Workflow revolutioniert. Es kann Code ausspucken, der tut, was ich will, und es hilft mir auch dabei, Probleme in eine tatsächlich lösbare Form zu bringen.
Bisher sind die Yi-Modelle ziemlich ordentlich, und innerhalb von zwei Wochen sollen zwei bessere neue Modelle erscheinen. Dieser Trend wird weitergehen, bis Altman herausgefunden hat, welchen Politiker er am heftigsten bestechen muss.
ChatGPT hingegen wurde mit Reddit und Twitter trainiert.
Der Autor scheint ziemlich viel Nuance zu übersehen. Es stimmt, dass es manchmal Unsinn erfindet, aber oft eben nicht, und es kann enorm viel Zeit sparen. Natürlich führt es einen manchmal auch auf den falschen Weg oder gibt eine völlig falsche Antwort.
Wie man damit umgeht, liegt beim Nutzer. Man kann versuchen, das gelieferte Ergebnis zu nutzen, oder Werkzeuge einrichten, mit denen es leicht zu überprüfen ist, und so produktiver werden; oder man steckt den Kopf in den Sand und sagt, es sei alles falsch und kümmere einen nicht.
Beides sind gültige Ansätze.
KI produziert nicht „manchmal Bullshit“, sie produziert immer Bullshit. Dass die Ausgabe gelegentlich korrekt ist, liegt daran, dass das ursprüngliche Korpus korrekt war. Aber für die KI ist das, wie für einen Demagogen, völlig unerheblich; es muss nur plausibel klingen.
Wenn es „einfach“ ist, das zu überprüfen, was die KI sagt, dann sollte es auch „einfach“ sein, der KI beizubringen, es vor dem Sprechen zu überprüfen; dann wäre die Kritik, KI sei eine Bullshit-Maschine, automatisch widerlegt. Die eigentliche Bedrohung liegt darin, dass KI schwer überprüfbaren Bullshit erzeugen kann, und das mit einer Geschwindigkeit, die selbst einen professionellen Gish Gallop beschämen würde.
In einer Bullshit-Ökonomie, in der es zum Beispiel Bürokraten gibt, die Berichte schreiben, die niemand liest, und in der diese Bürokraten Berichte schreiben, um die Zahl der ihnen unterstellten Manager aufzublähen und damit Managergehälter zu erhöhen, reicht genau das schon aus.
Das ist eine andere Frage als Fälle, in denen Nutzer die Ausgabe prüfen und mit Expertenurteil das Nützliche auswählen oder statt naiv Text in eine Standard-GUI einzugeben die Tool-Nutzung über API-Aufrufe verfeinern.
Könnte man nicht auch sagen: „Sprache ist ein Bullshit-Generator“? Der Großteil der Sprache, der wir begegnen, ist, ob von Menschen oder Maschinen erzeugt, höchst verdächtig: Nietzsches „bewegliches Heer von Metaphern, Metonymien und Anthropomorphismen“.
Genau das ist auch ein Grund dafür, dass Sprache erfolgreich ist. Sie ist unabhängig von der Einschränkung, „wahr“ sein zu müssen. LLMs nutzen diese Eigenschaft zu ihrem Vorteil, sind aber nicht ihr Ursprung.
Früher habe ich über diesen Artikel genau dasselbe gedacht, aber inzwischen bin ich mir wirklich nicht mehr sicher.
Code, der ausgeführt wird und funktioniert, also tatsächlich das tut, was verlangt wurde, ist keineswegs „Bullshit“.
Suche mit Verweisen auf passende Quellen aus einem bestimmten Korpus, also RAG, ist ebenfalls kein Bullshit.
KI ist also in vielerlei Hinsicht ein Bullshit-Generator, aber das sind wir auch, und man kann sie auch auf nützliche, nicht-bullshitartige Weise einsetzen.
In einer Welt, in der Optimierung wichtig ist, gibt es eine ziemlich große Lücke zwischen „funktioniert“ und „richtig“. Nicht immer, aber streng genommen geht es nicht nur algorithmisch; man muss auch auf Wiederverwendbarkeit, Testbarkeit und Ähnliches optimieren, und von GPT generierter Code kann solche Dinge übersehen.
Vor 9 Monaten gab es ein gutes Video eines französischen YouTubers zu diesem Thema: https://youtu.be/JcFRbecX6bk?feature=shared
Im Französischen gibt es das Wort baratineur, das sich für mich treffender anfühlt. Es bezeichnet jemanden, der einem sagt, was man hören will, unabhängig von den Begriffen Wahrheit oder Lüge.
Man könnte viel Zeit sparen, wenn sich alle wirklich daran erinnern würden, dass LLMs dafür entwickelt wurden, plausible Ausgaben zu erzeugen. Ein LLM „weiß“ nichts, „schlussfolgert“ nicht, „denkt“ nicht und hat auch keine Meinung. Es nimmt lediglich etwas wie ein Textpräfix oder einen Seed und erzeugt auf Basis dessen, was es aus tatsächlich von Menschen erstellten Inhalten gelernt hat, eine Ausgabe.
So betrachtet wird alles ziemlich klar.
Sollte man der Antwort glauben? Natürlich nicht. Es hat einfach nur etwas erzeugt.
Kann man es für Brainstorming nutzen? Natürlich. Man kann die Ausgabe prüfen, übernehmen oder sich davon inspirieren lassen.
Kann man es verwenden, um nützlichen Code zu erzeugen? Natürlich. Allerdings muss man den Code lesen und durch Tools sowie Menschen prüfen lassen, ob er sich wie gedacht verhält.
Sollte man Mitarbeitende ersetzen? Natürlich nicht. Ein Text-Suffix-Generator kann keine komplexen Probleme bearbeiten oder Verantwortung für Entscheidungen übernehmen.
Vielleicht steckt darin ein Weltmodell, vielleicht auch nicht. Wer weiß. Was wir wissen: „Vorhersage des nächsten Tokens“ ist zwar ein einfaches Ziel, aber damit es so gut funktioniert wie heute, ist im Inneren der Blackbox enorme Komplexität nötig.