Das ist schon das zweite wirklich interessante geteilte ChatGPT-Gespräch, das ich heute gesehen habe.
Das erste war ein Fall, in dem man ChatGPT immer wieder einfach „Mach weiter“ sagte und so ein Gegenbeispiel zu einer anderen Vermutung fand: https://x.com/DmitryRybin1/status/2079904005652893709
Bei Problemen, bei denen ein Agent aufgeben könnte, funktioniert „Mach weiter“ tatsächlich meistens. Ein LLM weiß im Grunde nicht, ob etwas unmöglich ist.
Bei schwierigen Prompts schreibe ich meist als normale Abbruchbedingung dazu: „Wiederhole diesen Prozess, bis er konvergiert und es keine weiteren Optimierungsideen mehr gibt. Du kannst einfach weitermachen“
Gerade GPT schien stärker als andere Modelle dazu zu neigen, mitten in der Aufgabe anzuhalten, und die zuletzt von mir verwendete Version war vermutlich 4.X.
Immer wieder kam sinngemäß: „Ich bin bis hierhin gekommen und der nächste Schritt ist klar, aber wenn ich weitermachen soll, schick mir bitte eine bedeutungslose Nachricht“, was ziemlich lästig war.
Einfach ohne Kontext nur „Mach weiter“ einzugeben bedeutet, dem LLM sehr stark zu vertrauen, dass es subtile logische Fehler vermeidet und den richtigen Ansatz wählt.
Selbst neueste Modelle behaupten bei einfachen DevOps-Aufgaben mitunter, ein Paket sei nicht ausgerollt, nur um sofort zurückzurudern, wenn der Nutzer widerspricht. Wenn so etwas häufig passiert, frage ich mich, ob man bei komplexen mathematischen Beweisen durch bloßes Wiederholen von „Mach weiter“ ohne Ergebnisprüfung zu einer gültigen Schlussfolgerung gelangen kann.
Auch in der Vergangenheit war die Methode vieler erfolgreicher Mathematiker schlicht, weiterzumachen.
Beeindruckend war die Stelle, an der nach „Ein partielles Ergebnis reicht, lass uns mit einem vollständigen und unbedingten Gegenbeispiel enden“ nach 88 Minuten und 24 Sekunden ein vollständiges endliches Gegenbeispiel geliefert wurde.
AI-Gesprächsprotokolle von Experten, die den Kern exakt treffen, sind endlos faszinierend und zeigen, wie viel sich aus dem Modell herausholen lässt.
Auch Terence Tao gibt wie ich in meinem Fachgebiet beim Einsatz von LLMs mit kurzen, scharfen Fragen voller Fachtermini und theoretischer Werkzeuge sehr stark die Richtung vor. LLMs scheinen Tonfall und Antwortniveau an das Niveau des Nutzers anzupassen.
Letztlich bedeutet „zu lernen, wie man AI nutzt“, zuerst das Problemfeld zu beherrschen.
Fürs Programmieren kann ich AI nutzen, weil ich seit Jahrzehnten entwickle, aber für theoretische Physik, wo ich Antworten nicht bewerten kann, ist es schwierig.
Von der Mathematik habe ich nichts verstanden, aber Taos Nachrichten waren Gesprächen, die ich mit LLMs führe, überraschend ähnlich.
Statt zu versuchen, das Ergebnis in einem Zug zu bekommen, ist ein schrittweises Erkunden effektiver und befriedigender, weil man die Richtung laufend korrigieren kann. Alles auf einmal zu verlangen wirkt magisch, wenn es klappt, aber wenn es scheitert, muss man wieder von vorn am Prompt arbeiten.
Vor ein paar Tagen hatte ich mit Claude etwas Ähnliches. Es funktionierte auch mit grob formulierten Anforderungen gut, scheiterte dann aber am entscheidenden Punkt; als ich strenger wurde, änderte sich das Verhalten auch nach der Problemlösung dahin, dass innerhalb des Projekts im Voraus mehrfach geprüft und häufiger nach meinen Anweisungen gefragt wurde.
Etwas nervig, aber wenn es wirkt, hinnehmbar.
Dass Terence Taos ChatGPT-Gespräch interessant ist, hat zwei Gründe. Das Gegenbeispiel ist keine einfache Brute-Force-Suche, sondern ein Polynom mit einer sehr konkreten Struktur, die genau zum gewünschten Ergebnis führt, und Taos Fragen sind so präzise, dass man ohne fortgeschrittene mathematische Ausbildung kaum dieselben Informationen herausbekäme.
Tao scheint einen Teil der Struktur des Problems und des Gegenbeispiels verstanden zu haben und mit der AI den Rest der Suche voranzutreiben.
Einer der brillantesten Menschen der Welt stellt eine Frage, und das LLM antwortet in der Art von „Wenn man darüber nachdenkt, ist es eigentlich ganz einfach“, was demütig macht, weil es aussieht wie ein Professor, der einen begabten Studenten unterrichtet.
Es gibt den Witz, dass schlechte Ergebnisse aus dem Modell ein „Skill-Problem“ seien, aber darin steckt auch Wahrheit. AI-Nutzungskompetenz erfordert nicht nur die Fähigkeit, iterative Prompts zu formulieren, die ein Agent versteht, sondern auch tiefes Domänenwissen darüber, was überhaupt erkundet werden sollte.
Fehlt eines von beidem, führt das leicht zu Frust oder schlimmeren Ergebnissen.
In den kommenden Jahren wird die Fähigkeit, mit LLMs gut über das eigene Fachgebiet zu sprechen, wohl eine nützliche menschliche Kompetenz sein, doch am Ende dürfte selbst das verwässern.
Erstaunlich ist, wie Tao immer wieder Vereinfachungen vorschlägt und so durch den Entdeckungsprozess führt. Er nutzt AI, um etwas zu verstehen und es effizient an sein Denkschema anzupassen, und interessiert sich dafür, einfachere Teilergebnisse zu finden, die verallgemeinern oder das Phänomen erklären.
Genau solche Diskussionen im Stil von „Was wäre, wenn ...?“ habe ich bei JPL und in der Wissenschaft am meisten vermisst.
Die Symbiose von Mensch und AI scheint ein neu sichtbarer Wert von AI zu sein. Während man Ergebnisse wie Code-Diffs erzeugt, kann man laufend beurteilen, wie belastbar das eigene Denkschema über den aktuellen Stand ist.
Vor allem kann man nun selbst wählen, wie präzise man das aktuelle Problem eigentlich verstehen will; vor AI gab es diese Option praktisch nicht.
Es wirkt ähnlich wie die Art, in der Mathematikprofessoren seit Jahrhunderten Doktoranden einsetzen.
Mathematik ist unglaublich dicht und schwer zugänglich, was Fachtermini und Notation angeht. In anderen MINT-Fächern kann man mit Hilfe von Google oder Wikipedia meist noch folgen, aber fortgeschrittene Mathematik entfernt sich zu schnell von allem, was man im Alltag noch nachvollziehen kann.
Selbst technisch versierte Menschen dürften bei schwerer Mathematik das Gefühl bekommen, sich völlig zu verirren.
Das gilt auch für fast alle anderen Bereiche, einschließlich Informatik. Viele Menschen arbeiten nur auf einer oberflächlichen Ebene und merken gar nicht, wie viel Hintergrundwissen sie sich aufgebaut haben.
Selbst ein durchschnittlicher Softwareingenieur muss unzählige Begriffe kennen: Cache, Stack, Heap, Prozess, Thread, Socket, TCP, HTTP, TLS, Deadlock, Race Condition, Atomarität, Event Loop, Coroutine, Transaktion, Replikation, Sharding, Serialisierung, DNS usw. Allein Cache kann CPU-, Seiten-, Browser-, CDN- oder Redis-Cache bedeuten, und alltägliche Wörter wie Session, Handle, Pool, Buffer, Stream oder Channel ändern je nach Kontext ihre Bedeutung.
Als im Quantenmechanik-Unterricht H Psi = E Psi an die Tafel geschrieben wurde, lachten alle und meinten, man könne „Psi wegkürzen“, aber auf der einen Seite war es Multiplikation und auf der anderen ein Operator mit Matrixmultiplikation, sodass man eine neue Notation lernen musste.
Ich war auch schon verwirrt, weil ich nicht wusste, dass Fettdruck bei einer Variablen eine Matrix bedeutet.
Was in der Mathematik mathematische Reife genannt wird, ähnelt dem Prozess, beim Lernen von Programmierung, Musik oder Kochen mehrfach Aha-Momente zu erleben und dadurch die eigene Perspektive zu verändern. In der Mathematik gibt es davon mehr als in anderen Tätigkeiten, weil abstraktes Schlussfolgern selbst die zentrale Hürde ist.
Abstraktion ist unverzichtbar. Das menschliche Arbeitsgedächtnis ist sehr klein, daher muss man mehrschichtige Hierarchien bilden, um über verschiedene Probleme nachdenken zu können, und genau das kommt dem Wesen der Mathematik nahe.
Mathematik versucht stärker als andere Fächer, Mehrdeutigkeit zu minimieren. Nichtmathematische Bereiche neigen eher dazu, gewöhnlichen Wörtern spezialisierte Bedeutungen zu geben und sie wiederzuverwenden; gerade in den Sozial- und Geisteswissenschaften merken Nichtfachleute ihr eigenes Unverständnis manchmal nicht, weil dort keine ungewohnten Symbole verwendet werden.
Ich kann die Mathematik selbst nicht beurteilen, aber am Verhalten des Modells fallen einige Dinge auf. Auf manche Fragen schlussfolgert es, auf andere antwortet es sofort, und manchmal widerspricht es sogar, indem es Bedingungen oder Korrekturen vorschlägt
Außerdem hielt es das Thema über lange Zeit bei, obwohl zwischen Frage-Antwort, PDF-Lesen, Code schreiben und Schlussfolgern hin- und hergewechselt wurde, und offenbar hielt auch Tao das weiterhin für produktiv. Modellfortschritt sieht eher so aus als wie steigende Zahlen in bestimmten Benchmarks
Die Formulierung „Trotzdem gibt es etwas zu beachten“ ist eine Floskel der aktuellen Generation von Codex und Claude
Tatsächlich ist vieles davon so selbstverständlich, dass man es kaum einen Hinweis nennen kann, aber Nutzer erwarten dann, dass es wichtige Bedingungen geben müsse. Ähnlich wie damit anzufangen, jedes Mal „ehrlich“ antworten zu wollen, ist das eher ablenkend, sodass man es besser über AGENTS.md unterdrückt
Das Erstaunlichste an diesem Gespräch ist, dass der KI-Agent wie ein ebenbürtiger Gesprächspartner eines der besten Mathematiker der Gegenwart, Tao, wirkt
Tao gibt die Richtung vor, lernt aber zugleich aus den Erklärungen, Analysen und Schlussfolgerungen der KI und verlässt sich darauf; es wirkt wie eine Szene, in der Ergebnisse mit einem Doktoranden oder einem anderen Professor besprochen werden. In einem Jahr oder nach zwei weiteren Modell-Releases könnte die KI sogar klar stärker sein als Tao
Eher wirkt dieses Gespräch wie ein Gegenbeispiel zu dieser Aussicht. Selbst mit einer anderen KI wäre das Gespräch wahrscheinlich nicht so produktiv gewesen wie mit Tao
Ob sich das in einem Jahr ändert, weiß ich nicht, aber da der Zielzeitpunkt immer weiter nach hinten rückt, bin ich skeptisch
Wenn man LLMs als Spiegel betrachtet, ist das nützlich. Spricht man wie ein Fachmathematiker, antwortet das Modell auch so, aber Taos erster Prompt wirkt zwar simpel, doch für einen Erstsemester wäre es schwer, auf demselben Niveau zu schreiben
Das ist das gegenteilige Phänomen zu dem Prompt aus der GPT-3.5-Zeit „Du bist ein professioneller Mathematiker“. So etwas sagt man echten Experten nicht; gerade diese Formulierung verrät dem Modell eher, dass der Nutzer kein Experte ist
Wenn man bedenkt, dass dieselbe KI auch Rezepte, die Diagnose ungewöhnlicher Autogeräusche, Biologie-Hausaufgaben und Übersetzungen unterstützt, könnte man sie bereits als stärker als Tao ansehen
Selbst nur in der Mathematik halte ich sie schon für stärker, was die Breite angeht, in der sie in fast allen Teilgebieten diese Tiefe hat
Die Bitte „Ich habe Pro aktiviert, könntest du also weiter nach einer geometrischen Erklärung von X_3 ~ A3 suchen, ohne Koordinaten oder gekünstelte Konstruktionen zu verwenden?“ ist genau das Bild eines Kunden, der mit einer Bezahlfunktion zufrieden ist
Bei fortgeschrittenen Themen scheint schon eine sehr kurze Frage zu genügen, um eine knappe Antwort ohne Ballast auszulösen. Dass zusätzlich Pro aktiviert wurde, könnte das noch verbessert haben
Erstaunlich ist, dass sogar Terence Tao zahlen muss, um mit ChatGPT zu sprechen. Eigentlich sollte OpenAI eher Tao bezahlen
So sah ein Gespräch aus, das ich vor 4 Jahren mit ChatGPT hatte: https://i.imgur.com/WPaWgzZ.png
Es ist eine Zeit, in der man neugierig wird, wie weit es in den nächsten 4 Jahren noch gehen wird
In Großbritannien wird das Bild nicht angezeigt; ich würde gern wissen, was darauf zu sehen ist
Es zeigt, wie schnell apodiktische Aussagen wie „LLMs können nicht schlussfolgern und wiederholen nur einfache Sätze, also können sie auch in 100 Jahren nicht intelligent werden“ veralten
Selbst in einer ChatGPT-Sitzung eines Supergenies ist es auf seltsame Weise beruhigend, dass ein Mensch einen Satz schreibt und das LLM mit drei Seiten antwortet
1 Kommentare
Hacker-News-Kommentare
Das ist schon das zweite wirklich interessante geteilte ChatGPT-Gespräch, das ich heute gesehen habe.
Das erste war ein Fall, in dem man ChatGPT immer wieder einfach „Mach weiter“ sagte und so ein Gegenbeispiel zu einer anderen Vermutung fand: https://x.com/DmitryRybin1/status/2079904005652893709
Bei schwierigen Prompts schreibe ich meist als normale Abbruchbedingung dazu: „Wiederhole diesen Prozess, bis er konvergiert und es keine weiteren Optimierungsideen mehr gibt. Du kannst einfach weitermachen“
Immer wieder kam sinngemäß: „Ich bin bis hierhin gekommen und der nächste Schritt ist klar, aber wenn ich weitermachen soll, schick mir bitte eine bedeutungslose Nachricht“, was ziemlich lästig war.
Selbst neueste Modelle behaupten bei einfachen DevOps-Aufgaben mitunter, ein Paket sei nicht ausgerollt, nur um sofort zurückzurudern, wenn der Nutzer widerspricht. Wenn so etwas häufig passiert, frage ich mich, ob man bei komplexen mathematischen Beweisen durch bloßes Wiederholen von „Mach weiter“ ohne Ergebnisprüfung zu einer gültigen Schlussfolgerung gelangen kann.
AI-Gesprächsprotokolle von Experten, die den Kern exakt treffen, sind endlos faszinierend und zeigen, wie viel sich aus dem Modell herausholen lässt.
Auch Terence Tao gibt wie ich in meinem Fachgebiet beim Einsatz von LLMs mit kurzen, scharfen Fragen voller Fachtermini und theoretischer Werkzeuge sehr stark die Richtung vor. LLMs scheinen Tonfall und Antwortniveau an das Niveau des Nutzers anzupassen.
Fürs Programmieren kann ich AI nutzen, weil ich seit Jahrzehnten entwickle, aber für theoretische Physik, wo ich Antworten nicht bewerten kann, ist es schwierig.
Statt zu versuchen, das Ergebnis in einem Zug zu bekommen, ist ein schrittweises Erkunden effektiver und befriedigender, weil man die Richtung laufend korrigieren kann. Alles auf einmal zu verlangen wirkt magisch, wenn es klappt, aber wenn es scheitert, muss man wieder von vorn am Prompt arbeiten.
Etwas nervig, aber wenn es wirkt, hinnehmbar.
Dass Terence Taos ChatGPT-Gespräch interessant ist, hat zwei Gründe. Das Gegenbeispiel ist keine einfache Brute-Force-Suche, sondern ein Polynom mit einer sehr konkreten Struktur, die genau zum gewünschten Ergebnis führt, und Taos Fragen sind so präzise, dass man ohne fortgeschrittene mathematische Ausbildung kaum dieselben Informationen herausbekäme.
Tao scheint einen Teil der Struktur des Problems und des Gegenbeispiels verstanden zu haben und mit der AI den Rest der Suche voranzutreiben.
Fehlt eines von beidem, führt das leicht zu Frust oder schlimmeren Ergebnissen.
Erstaunlich ist, wie Tao immer wieder Vereinfachungen vorschlägt und so durch den Entdeckungsprozess führt. Er nutzt AI, um etwas zu verstehen und es effizient an sein Denkschema anzupassen, und interessiert sich dafür, einfachere Teilergebnisse zu finden, die verallgemeinern oder das Phänomen erklären.
Genau solche Diskussionen im Stil von „Was wäre, wenn ...?“ habe ich bei JPL und in der Wissenschaft am meisten vermisst.
Vor allem kann man nun selbst wählen, wie präzise man das aktuelle Problem eigentlich verstehen will; vor AI gab es diese Option praktisch nicht.
Mathematik ist unglaublich dicht und schwer zugänglich, was Fachtermini und Notation angeht. In anderen MINT-Fächern kann man mit Hilfe von Google oder Wikipedia meist noch folgen, aber fortgeschrittene Mathematik entfernt sich zu schnell von allem, was man im Alltag noch nachvollziehen kann.
Selbst technisch versierte Menschen dürften bei schwerer Mathematik das Gefühl bekommen, sich völlig zu verirren.
Selbst ein durchschnittlicher Softwareingenieur muss unzählige Begriffe kennen: Cache, Stack, Heap, Prozess, Thread, Socket, TCP, HTTP, TLS, Deadlock, Race Condition, Atomarität, Event Loop, Coroutine, Transaktion, Replikation, Sharding, Serialisierung, DNS usw. Allein Cache kann CPU-, Seiten-, Browser-, CDN- oder Redis-Cache bedeuten, und alltägliche Wörter wie Session, Handle, Pool, Buffer, Stream oder Channel ändern je nach Kontext ihre Bedeutung.
H Psi = E Psian die Tafel geschrieben wurde, lachten alle und meinten, man könne „Psi wegkürzen“, aber auf der einen Seite war es Multiplikation und auf der anderen ein Operator mit Matrixmultiplikation, sodass man eine neue Notation lernen musste.Ich war auch schon verwirrt, weil ich nicht wusste, dass Fettdruck bei einer Variablen eine Matrix bedeutet.
Ich kann die Mathematik selbst nicht beurteilen, aber am Verhalten des Modells fallen einige Dinge auf. Auf manche Fragen schlussfolgert es, auf andere antwortet es sofort, und manchmal widerspricht es sogar, indem es Bedingungen oder Korrekturen vorschlägt
Außerdem hielt es das Thema über lange Zeit bei, obwohl zwischen Frage-Antwort, PDF-Lesen, Code schreiben und Schlussfolgern hin- und hergewechselt wurde, und offenbar hielt auch Tao das weiterhin für produktiv. Modellfortschritt sieht eher so aus als wie steigende Zahlen in bestimmten Benchmarks
Tatsächlich ist vieles davon so selbstverständlich, dass man es kaum einen Hinweis nennen kann, aber Nutzer erwarten dann, dass es wichtige Bedingungen geben müsse. Ähnlich wie damit anzufangen, jedes Mal „ehrlich“ antworten zu wollen, ist das eher ablenkend, sodass man es besser über
AGENTS.mdunterdrücktDas Erstaunlichste an diesem Gespräch ist, dass der KI-Agent wie ein ebenbürtiger Gesprächspartner eines der besten Mathematiker der Gegenwart, Tao, wirkt
Tao gibt die Richtung vor, lernt aber zugleich aus den Erklärungen, Analysen und Schlussfolgerungen der KI und verlässt sich darauf; es wirkt wie eine Szene, in der Ergebnisse mit einem Doktoranden oder einem anderen Professor besprochen werden. In einem Jahr oder nach zwei weiteren Modell-Releases könnte die KI sogar klar stärker sein als Tao
Ob sich das in einem Jahr ändert, weiß ich nicht, aber da der Zielzeitpunkt immer weiter nach hinten rückt, bin ich skeptisch
Das ist das gegenteilige Phänomen zu dem Prompt aus der GPT-3.5-Zeit „Du bist ein professioneller Mathematiker“. So etwas sagt man echten Experten nicht; gerade diese Formulierung verrät dem Modell eher, dass der Nutzer kein Experte ist
Selbst nur in der Mathematik halte ich sie schon für stärker, was die Breite angeht, in der sie in fast allen Teilgebieten diese Tiefe hat
Die Bitte „Ich habe Pro aktiviert, könntest du also weiter nach einer geometrischen Erklärung von
X_3 ~ A3suchen, ohne Koordinaten oder gekünstelte Konstruktionen zu verwenden?“ ist genau das Bild eines Kunden, der mit einer Bezahlfunktion zufrieden istSo sah ein Gespräch aus, das ich vor 4 Jahren mit ChatGPT hatte: https://i.imgur.com/WPaWgzZ.png
Es ist eine Zeit, in der man neugierig wird, wie weit es in den nächsten 4 Jahren noch gehen wird
Selbst in einer ChatGPT-Sitzung eines Supergenies ist es auf seltsame Weise beruhigend, dass ein Mensch einen Satz schreibt und das LLM mit drei Seiten antwortet