- Das Spielen am Bach in der Kindheit, bei dem man den Bach aufstaute, wurde mit wachsender Kraft und wachsendem Wissen von einem einfachen Spaß zu einer Entscheidung, die die Grenzen des Spiels zerstören konnte
- Wenn man mit einem großen Spaten das Flussufer einreißt, gewinnt man das Damm-bauen-Puzzle leicht, aber in diesem Moment schrumpft der Spielraum, in dem man wieder spielen kann
- Aktivitäten, bei denen man Grenzen austestete – wie K'Nex-Katapulte, Experimente mit Feuerwerkskörpern oder das Bauen von Bögen –, ließen sich nicht mehr mit voller Kraft vorantreiben, nachdem man die Risiken und Folgen verstanden hatte
- Das Angebot einer Investmentbank war der Anlass zu erkennen, dass auch das „Spiel, möglichst viel Geld zu verdienen“ dieselbe Stufe erreicht hatte
- Auch die Entwicklung von Künstlicher Intelligenz steht in derselben Metapher; mit voller Kraft erfolgreich zu sein, kann wie eine metaphorische Feuerwerksexplosion in einem weniger erfüllenden Ende münden
Der Moment, in dem man nicht mehr alles geben kann
- Das Kindheitsspiel, den Bach hinter dem Haus aufzustauen, bestand darin, Löcher mit Steinen, Blättern und Sand zu füllen und zu sehen, wie hoch man das Wasser steigen lassen konnte
- Irgendwann kam der Gedanke auf, dass man mit einem fünf Fuß langen großen Spaten das Flussufer einreißen und so einen besseren, größeren Damm bauen könnte
- Der Vater sagte, er habe dieses Puzzle bereits gelöst und könne deshalb nicht mehr unbeschwert Bach-Aufstauen spielen
- Der Preis des Sieges war, dass der bespielbare Raum kleiner wurde; das Schachmatt geschah nicht auf dem Brett, sondern außerhalb des Spiels
- Dieselbe Veränderung wiederholte sich bei anderen Spielen
- Nachdem ein Loch in die Decke geschlagen worden war, wurde das Bauen eines K'Nex-Katapults von einer sorglos genießbaren Aktivität zu einer, bei der Vorsicht nötig war
- Feuerwerkskörper zusammenzubinden, um zu sehen, wie groß die Explosion werden kann, durfte nicht bis an die äußerste Grenze getrieben werden
- Nachdem man den Kniff des Tillering gelernt hatte, konnte man Bögen und Pfeile für Hinterhofkämpfe mit Freunden nicht mehr mit voller Kraft bauen
- Um ein Angebot einer Investmentbank zu bekommen, hatte man sich intensiv mit Leetcoding, Build-Systemen und dem Feinschliff des Lebenslaufs beschäftigt; doch in dem Moment, in dem das Angebot kam, gelangte man zu der Einschätzung, dass man das Spiel, möglichst viel Geld zu verdienen, nicht weiter spielen konnte
Dieselbe Metapher in der KI-Entwicklung
- Wenn es einen ausreichend starken Gegner gibt, kann man lange Zeit mit voller Kraft gegen ihn antreten
- Ein Beispiel dafür ist ein Strandspiel im abfließenden Wasser von Gezeitentümpeln bei Ebbe
- Mit den Händen kann man Sand aufstauen und Seen, Deltas und Schluchten formen, doch die einlaufende Flut ist viel stärker und löscht alle Ergebnisse wieder aus
- Mit wachsendem Verständnis verengen sich die Optionen erneut
- Wenn man über das Verschieben von Sand mit Händen oder Schaufeln hinausgeht und beim Stadtrat für den Bau von Buhnen (groin) oder einer seawall lobbyiert, kann man den Strandsand tatsächlich in großem Maßstab bewegen
- Deshalb kann man in Wirklichkeit nicht alles geben, und man will es auch nicht
- Selbst während man mit den Händen im Sand gräbt, sieht man die Spuren von Coquina-Muscheln, die sich nach einer Welle wieder eingraben; Folgen, die man mit vier Jahren nicht sah, sind jetzt sichtbar
- Es stellt sich die Frage, ob Muscheln, die zufällig durch ein zwei Fuß kleines Tiefbauprojekt rasch verschüttet wurden, wieder an die Oberfläche gelangen können
- Man vermutet, dass die meisten es schaffen, und macht weiter
- Diese Metapher setzt sich auch bei der Entwicklung von Künstlicher Intelligenz fort
- Der Prozess, alles zu geben, war ein spannendes und tatsächlich lohnendes Abenteuer
- Doch erfolgreich zu sein und sich in einer metaphorischen Feuerwerksexplosion die Hand wegzusprengen, ist ein weniger lohnendes Ergebnis
- Diese Einschätzung bleibt bestehen, selbst wenn man die Metapher zu einer Situation ausweitet, in der man mit den Nachbarn darum konkurriert, wer sich zuerst die Hand wegsprengt, oder in der alle gemeinsam eine einzige Hand teilen
- Positiv betrachtet scheint Anthropic in seinem jüngsten Bericht zur Nutzung im Bildungsbereich zumindest etwas wie die Coquina-Muscheln wahrzunehmen
1 Kommentare
Hacker-News-Kommentare
Guter Text, aber ich denke, der Kern liegt nicht in der KI-Entwicklung, sondern im „so viel Geld wie möglich verdienen“ am Anfang des Textes.
Die Probleme, die man bei KI sieht, entstehen weniger durch die Entwicklung selbst als durch Marketing und Verbreitung. Es ist nicht gut, wenn man zum Spaß einen Bach aufstaut und dabei scheitert oder sich die Hand verletzt, aber der Maßstab begrenzt sich von selbst. Dinge, die man aus Spaß oder als Herausforderung tut, lassen sich kaum in großem Umfang betreiben, über das hinaus, was Einzelne genießen können.
Wenn alle KI so behandeln würden, als würden sie zum Spaß einen Bach aufstauen, gäbe es wohl kein großes Problem. Auch wenn die Modelle leistungsfähig sind, wäre das Interesse eher daran, daran herumzubasteln und damit zu spielen, als Geld zu verdienen; die Ergebnisse wären wahrscheinlich seltsam und fragmentarisch. Wie bei all den Hobbyprojekten, die auf HN auftauchen, würde man „cool“ sagen und weitergehen, sie aber nicht an wichtige Abhängigkeitspunkte hängen.
Ob KI oder nicht: In dem Moment, in dem man anfängt, etwas einzusetzen, um „so viel Geld wie möglich“ zu verdienen, entstehen Probleme. Außerdem spricht der Text am Ende so, als habe Anthropic begonnen, die Muscheln wahrzunehmen; in den vielen Beispielen des Textes war es aber nicht Selbstreflexion, die zum Aufhören führte, sondern eine äußere Autorität wie die Eltern. Die meisten Menschen sind nicht so reflektiert wie der Autor und kümmern sich womöglich nicht um „in einem Nullsummenspiel gegen Leute zu gewinnen, die keinen Grund haben zu verlieren“ oder um irgendwelche Muscheln. Jemand muss ihnen die Schaufel wegnehmen.
Solange „so viel Geld wie möglich verdienen“ als Ausnahme von dem Prinzip behandelt wird, dass man nicht weitermachen sollte, bis etwas kaputtgeht, werden solche Probleme weiterbestehen – mit oder ohne KI.
Inzwischen bin ich im Ruhestand und werkle in meinem „Softwaregarten“ an dies und jenem herum. KI nutze ich auch zur Problemlösung und zum Erstellen von Code-Entwürfen, aber das Ziel ist persönliche Zufriedenheit.
Wenn nur wenige Menschen ein Werkzeug haben, sind Handwerker äußerst wertvoll. Wissen oder echte Fähigkeiten sind nicht im Überangebot, man kann viel Geld verdienen, und andere können kaum aufholen, weil ihnen Werkzeuge und Können fehlen. Schon der Aufwand im Vorfeld kann einen wohlhabend machen.
Wenn alle die gleichen Werkzeuge haben, bleiben Handwerker wertvoll. Ihr über die Zeit angesammeltes Wissen und Können ist knapp, und es gibt einen Anreiz, die eigenen Fähigkeiten weiter auszubauen, um vorne zu bleiben.
Wenn das Werkzeug die Arbeit übernimmt, ist der Wert des Handwerkers begrenzt. Er wird zu einer Art Relikt, und egal wie sehr er seine Expertise vertieft, die meisten schalten einfach das Werkzeug ein und bekommen ein ausreichend gutes Ergebnis.
Wir befinden uns derzeit zwischen Stufe 2 und Stufe 3. In Vorstellungsgesprächen fragt man noch nach Algorithmendesign oder der Komplexität von Ansätzen, aber viele schaffen den Übergang zu dem Punkt nicht, an dem sie fragen: „Was soll ich jetzt tun?“
Wert entsteht nun weniger daraus, zu wissen, wie die Automatisierung funktioniert, sondern daraus, Werkzeuge so zu nutzen, dass sie mehr Wert schaffen als ein durchschnittlicher Mensch. Für Menschen, denen beigebracht wurde, dass allein dieses Wissen ein stabiles oder profitables Leben ermöglichen kann, ist das eine schwierige Umstellung.
Die Zeit der SDE-Interviews ist nun vorbei; wenn man Ingenieure sucht, sucht man eher Menschen, die die Gegenwart akzeptieren und zugänglichen Tools menschlichen Nutzen hinzufügen können, sodass das Ganze mehr wird als die Summe seiner Teile, statt Menschen, die selbst eine Version des Tools bauen können.
Der beste Teil am Erstellen von Software war die Kreativität, und dieser Teil hat sich nicht verändert. Im Gegenteil, er ist jetzt noch wichtiger geworden.
Am Ende bauen wir Dinge, die Verbraucher nutzen werden. Wenn der Bach begonnen hat, in eine andere Richtung zu fließen, sollten wir nicht weiter Steine dort aufschichten, wo früher das Wasser floss, sondern akzeptieren, dass sich etwas verändert hat, und uns anpassen.
Er gratuliert sich selbst dazu, erkannt zu haben, dass es Grenzen hat, das Eigentum seiner Eltern zu zerstören; dazu, den Sand am Strand wie einen Instagram-Moment existenzieller Schlichtheit würdigen zu können; und dazu, klug genug gewesen zu sein, dass er sich beinahe die Hand hätte wegsprengen können. Ich weiß nicht, was „Leetcoding“ ist, aber das gehört ebenfalls dazu, und er sagt, er habe einen fragwürdigen Job aufgegeben, weil er langweilig war, während er andeutet, vielleicht ein Gewissen entwickelt zu haben. Am Ende schließt er mit: „Natürlich ist dies eine Geschichte über die Entwicklung künstlicher Intelligenz.“
Wenn ich noch etwas hinzufügen darf: Man sieht darin den Wunsch nach Liebe statt nach Geld, aber eigentlich nach beidem, und weiterhin den Drang, etwas Schlechtes in der Welt an einen wichtigen Abhängigkeitspunkt zu schieben. Es wirkt wie ein Versuch, zu bekommen, was immer zu bekommen ist – ob Liebe oder Geld. Meine Eltern nannten so etwas ein „Kind, dem jede Aufmerksamkeit recht ist, gute wie schlechte“.
Ich denke, das war in den letzten 20 Jahren der grundlegende Antrieb der meisten Tech-Milliardäre. Was Bezos, Zuck, Jobs, Dorsey und Musk verbindet, ist ein Verlangen wie: „Papa, schau mal, ich habe nicht nur dein Geld genommen. Ich war klug genug, mir mit Feuerwerk die Hand wegzusprengen, aber sieh, ich habe noch beide Hände. Mit Papas Geld habe ich so viel Geld verdient. Warum bist du nicht stolz? Wo finde ich Liebe? Wenn ich sage, wie sehr ich ein Leetcoder bin und dass ich zwar böse KI bauen könnte, aber nur gute KI baue – werden mich dann alle lieben?“
Natürlich bin auch ich nicht frei von solchen Gefühlen. Ich möchte gute Arbeit leisten, und ich möchte, dass die Leute mögen, was ich getan habe. Aber in solchen Texten steckt eine allzu offensichtliche Geltungssucht und Narzissmus. Wenn du wirklich ein Genie bist, dann leg dich zu den Muscheln oder schreib einen Roman. Wenn du wirklich ein Gewissen hast, dann hab den Mut zu sagen, dass du eines hast. Lass den Rest in Ruhe und verschmutze eine Welt, die du nicht verstehst, nicht mit kindischer Gier und Selbstbesessenheit.
Ein großartiger Essay, und ich empfinde ähnlich wie der Autor, hätte es aber wohl nicht so gut ausdrücken können.
Wenn man allerdings erwartet, dass KI-Forscher diesen Rat annehmen und langsamer machen, sollte man lieber nicht darauf warten. Der Autor sagt, er habe aus moralischen Gründen einen hochbezahlten Job im Finanzwesen verlassen, und das ist respektabel. Aber Wall Street läuft weiter, und es mangelt nicht an Menschen, die das Spiel „so viel Geld wie möglich verdienen“ spielen wollen.
Mir ist ein aktueller HN-Kommentar [0] im Gedächtnis geblieben, der Unternehmen und Institutionen mit KI vergleicht. Solche Organisationen funktionieren bereits wie eine übermenschliche Intelligenz.
[0] https://news.ycombinator.com/item?id=43580681
Unternehmen wie Amazon, Google und OpenAI ruinieren den Planeten ziemlich schnell, während Firmen wie Citadel lediglich Geld hin- und herschieben.
Das hier erwähnte tillering bedeutet nicht, dass bei Gras Seitentriebe austreiben, sondern das Biegen und Bearbeiten von Holz, um einen Bogen herzustellen. Es macht Spaß, neue Wörter zu lernen.
[1]: https://www.howtomakealongbow.co.uk/part-5-tillering
[2]: https://en.wikipedia.org/wiki/Tiller_(botany)
Es ist ein iterativer Prozess: biegen, abschaben, wieder biegen und schrittweise Holz entfernen.
Die Geschichten vom Aufstauen eines Bachs oder vom Spielen im Sand am Strand waren so gesund, dass ich lachen musste. Ein Puzzle zu lösen ist eher das schlechte Ende eines Spiels, bei dem das Spielen keinen Spaß mehr macht.
Menschen sollten mehr Zeit damit verbringen, Dinge zu tun, weil sie Spaß machen, statt besser darin werden zu wollen. Ob das Ende der Welt noch zu unseren Lebzeiten kommt oder nicht: Ich versuche in jedem Fall, das Leben so gut wie möglich zu genießen.
Vonnegut hat es am besten gesagt.
https://richardswsmith.wordpress.com/2017/11/18/we-are-here-...
https://www.goodreads.com/quotes/12020560-talking-about-when...
„Wenn ich meiner Frau sage, dass ich losgehe, um einen Umschlag zu kaufen, sagt sie, ich sei doch kein armer Mensch und könne einfach online 100 Umschläge kaufen und sie in den Schrank legen. Also tue ich so, als hätte ich es nicht gehört, und gehe los, um einen Umschlag zu kaufen. Denn beim Kauf eines einzigen Umschlags werde ich eine sehr schöne Zeit haben. Ich werde viele Menschen treffen, auch nette Menschen sehen, einem vorbeifahrenden Feuerwehrauto mit erhobenem Daumen zujubeln und eine Frau fragen, welcher Rasse dieser Hund angehört. Die Moral der Geschichte ist: Wir sind auf der Erde, um herumzutrödeln. Natürlich werden Computer uns das wegnehmen. Was Computerleute nicht wissen oder was ihnen egal ist: Wir sind tanzende Tiere.“
― Kurt Vonnegut
Der Autor scheint sich über KI-Risiken Sorgen zu machen, also darüber, dass „KI uns alle töten wird“, was auf LessWrong ein häufiges Thema ist.
Aus Sicht von jemandem, der aktuelle KI-Modelle oft nutzt, ist aber überhaupt nicht klar, ob ein solches Risiko in einem absehbaren Zeitraum existiert. Selbst die besten Modelle von heute sind leichtgläubig und es mangelt ihnen an Einsicht und Originalität.
Dwarkesh hat früher einmal diese Frage gestellt: „Wie sieht man es als Wissenschaftler, dass diese Modelle praktisch das gesamte menschliche Wissen auswendig gelernt haben, aber keine einzige neue Verbindung herstellen konnten, die zu Entdeckungen führt? Wenn ein durchschnittlich intelligenter Mensch so viel auswendig gelernt hätte, würde er dann nicht Dinge bemerken wie: ‚Das verursacht dieses Symptom, und jenes verursacht dasselbe Symptom, also gibt es hier eine Behandlung‘? Sollte man so etwas nicht erwarten?“
Ich hatte vor Kurzem ein ähnliches Erlebnis. Als ich GPT-4.5 „Deep Research“ fragte, welches Material für ein bestimmtes Maschinenteil am besten sei, war die erste Antwort eine nahezu wörtliche Kopie eines lächerlich dummen LinkedIn-Beitrags, und die zweite stammte aus einer marketinglastigen Pressemitteilung. Es gab keinerlei originelle Einsicht, und am Ende kam ich zu dem Schluss, dass ich Recherche und Experimente selbst machen muss.
Der Kernpunkt ist, dass ich große Sprachmodelle nicht für fähig halte, eine so furchterregende und neue Methode zu entwickeln, dass sie die gesamte Menschheit töten könnten. Daran hat sich in den letzten fünf Jahren überhaupt nichts geändert. Sie können jetzt nur LinkedIn-Beiträge überfliegen und im Web Pressemitteilungen finden.
Außerdem haben diese Modelle keinen eigenständigen Willen und kein Gefühl für Zeit oder Raum. Selbst prinzipiell ist unklar, ob sie als wirklich eigenständige Akteure funktionieren können.
Ich weiß aber nicht, ob jemand ein multimodales Modell gebaut hat, das mit Röntgen-CT-Daten von Bauteilen unter unterschiedlichen Belastungen zusammen mit Beschreibungen ihres Einsatzzwecks trainiert wurde. Ein solches Modell könnte auf die Frage vermutlich eine ziemlich gute Antwort geben.
Sie können aber leichtgläubige Dummköpfe dazu bringen, die Menschheit vollständig über die Klippe zu treiben. Genau das passiert bereits. Das Modell muss kein eigenständiger Akteur sein; es muss nur intelligent wirken.
„Erst nachdem ich es bekommen hatte, erkannte ich, dass ich das Spiel ‚so viel Geld wie möglich verdienen‘ nicht mehr spielen konnte.“
Das Lustige ist: Mein Vater hat mir das mit 12 Jahren aus Mitgefühl beigebracht. Ich weiß nicht, warum Menschen vom Typ Spock, die Logik lieben, so verklärt werden. Wissen sie nicht, dass der wahre Held von Star Trek Captain Kirk war? Weil er Mitgefühl hatte.
Es überrascht nicht, dass die Zizianer aus LessWrong hervorgegangen sind.
Wenn es etwas gibt, womit sich Geld verdienen lässt, gibt es immer jemanden, der bereit ist, Risiken einzugehen, ob mit einer Schaufel in der Hand oder mit einem Lastwagen voller Feuerwerkskörper. Besonders wenn man dieses Risiko auf die Öffentlichkeit abwälzen kann, wird man versuchen, die Belohnung selbst einzustreichen.
Sieht man als Elternteil sein Kind nicht jeden Tag an und empfindet Staunen über dieses kleine, erstaunliche, seltsame und einzigartige Wesen?
Die Autoren auf LessWrong scheinen jeden Tag in den Spiegel zu schauen und genau dasselbe zu empfinden.
Ich brauche eine Erklärung, was mit der „Coquina“-Metapher gemeint ist.
In der Realität scheint das zu bedeuten, dass Anthropic etwas Großes tut, indem es AGI baut, und erst jetzt beginnt zu erkennen, welche potenziellen Auswirkungen das auf Menschen haben kann.
Gemeint ist wohl, dass Anthropic beginnt zu erkennen, welche Risiken ihre Arbeit für andere mit sich bringen kann; worauf genau das abzielt, weiß ich aber nicht.
[1]: https://www.youtube.com/watch?v=KZUlf7quu3o
Es ist wie der Unterschied zwischen ein wenig Sand mit der Hand auszugraben und kleine Lebewesen kurzzeitig zu vergraben, und „Stadträte zu lobbyieren, damit Buhnen oder Wellenbrecher gebaut und der Strandsand tatsächlich verlagert wird“.
https://www.anthropic.com/news/anthropic-education-report-ho...