- Thomas Wolf, Mitgründer von HuggingFace, argumentiert, dass KI keinen sprunghaften Fortschritt in der Wissenschaft bringen wird, also kein "komprimiertes 21. Jahrhundert"
- Das "komprimierte 21. Jahrhundert" ist ein Konzept aus Dario Amodeis "Machine of Loving Grace", wonach KI in Rechenzentren wie zahllose Einsteins agieren und in nur 5 bis 10 Jahren sämtliche wissenschaftlichen Entdeckungen des 21. Jahrhunderts hervorbringen werde
- Anfangs war er von dieser Idee beeindruckt und dachte: "KI wird in fünf Jahren alles in der Wissenschaft verändern!" Beim erneuten Lesen wirkte vieles jedoch eher wie Wunschdenken
KI ist kein Genie, sondern ein 'Ja-Sager'
- Tatsächlich werden wir seiner Ansicht nach wohl eher ein "Land der Ja-Sager auf Servern" bekommen, wenn sich der aktuelle Trend fortsetzt
- Um diesen Unterschied zu erklären, erzählt er eine persönliche Geschichte
- Er war immer ein sehr guter Schüler
- Er wuchs in einer Kleinstadt auf, wurde an Frankreichs beste Ingenieurhochschule aufgenommen und anschließend zum PhD-Studium am MIT zugelassen
- Schulisches Lernen fiel ihm immer leicht
- Er konnte meist vorhersagen, worauf die Erklärungen der Professoren hinausliefen und welche Fragen in Prüfungen gestellt würden
- Als er schließlich Forscher wurde, also PhD-Student, erlebte er einen schweren Schock
- Er war ein unterdurchschnittlicher, hinter den Erwartungen zurückbleibender, gewöhnlicher Forscher
- Seine Kolleginnen und Kollegen hatten viele interessante Ideen, während er immer wieder an Wände stieß
- Was nicht in Büchern stand, konnte er nicht selbst erfinden; und selbst dann waren es nur nutzlose Varianten bestehender Theorien
- Ein noch größeres Problem war, dass es sehr schwer war, das Gelernte zu bezweifeln und den Status quo infrage zu stellen
- Er war kein Einstein, sondern einfach ein Schüler, der in der Schule gut war
- Vielleicht lag der Grund, warum er kein Einstein war, sogar gerade darin, dass er in der Schule gut war
- Genies der Geschichte hatten oft Schwierigkeiten im akademischen System
- Edison wurde von einem Lehrer als "addled" bezeichnet
- Barbara McClintock wurde für ihre "seltsamen Ideen" kritisiert, gewann aber später den Nobelpreis
- Einstein fiel beim ersten Versuch durch die Aufnahmeprüfung der ETH Zürich
- Solche Beispiele gibt es unzählige
- Ein häufiger Irrtum besteht darin zu glauben, Newton oder Einstein seien bloß "hochskalierte Musterschüler" gewesen
- Anders gesagt: Man nimmt fälschlich an, dass durch lineare Skalierung der besten 10 % der Schüler automatisch ein Genie entstehe
- Diese Sichtweise übersieht die wichtigste Fähigkeit in der Wissenschaft
- Die richtigen Fragen zu stellen und selbst gelerntes Wissen infrage zu stellen, ist der eigentliche Kern wissenschaftlicher Durchbrüche
- Echte wissenschaftliche Durchbrüche entstanden etwa, als Kopernikus sich gegen das gesamte damalige Wissen stellte und vorschlug, dass sich die Erde um die Sonne dreht
- In der Sprache des Machine Learning hieße das: gegen den "gesamten Trainingsdatensatz" zu handeln
Wie man einen Einstein erschafft
- Um in einem Rechenzentrum einen Einstein zu erschaffen, braucht man nicht einfach nur ein System, das alle Antworten kennt
- Es muss ein System sein, das Fragen stellt, auf die sonst niemand kommt
- Es muss in der Lage sein zu fragen: "Was, wenn das alles falsch ist?", selbst wenn Lehrbücher, Experten und der gesunde Menschenverstand dagegenstehen
- Denken wir an den radikalen Paradigmenwechsel der speziellen Relativitätstheorie
- Dafür braucht es den Mut, als erstes Axiom zu setzen: "Nehmen wir an, dass die Lichtgeschwindigkeit in allen Bezugssystemen konstant ist"
- Das widersprach dem damaligen Common Sense und selbst noch unserer heutigen Intuition
- CRISPR war seit den 1980er-Jahren als adaptives Immunsystem von Bakterien bekannt
- Doch erst 25 Jahre nach dieser Entdeckung erhielten Jennifer Doudna und Emmanuelle Charpentier den Nobelpreis, weil sie vorschlugen, es für Gene Editing zu nutzen
- "Wir wissen seit Jahren, dass XX YY macht – aber was, wenn wir das falsch verstanden haben? Oder wenn wir das auf etwas völlig anderes wie ZZ anwenden könnten?"
- Genau diese Einsicht ist das Wesen von outside-of-knowledge thinking und eines Paradigmenwechsels
- Das ist der Kernmechanismus wissenschaftlichen Fortschritts
- Solche Paradigmenwechsel sind selten, vielleicht ein- oder zweimal pro Jahr
- Wenn sich ihr Einfluss bestätigt, führen solche Durchbrüche meist zum Nobelpreis
- In diesem seltenen Punkt stimmt er Dario zu
- Den größten Anteil am wissenschaftlichen Fortschritt haben genau diese Paradigmenwechsel, alles andere ist meist nur Rauschen
Warum KI wissenschaftliche Innovation nur schwer erreichen kann
- Die Leistungsfähigkeit heutiger KI ist darauf ausgerichtet, bereits vorhandenes Wissen zu lernen und darauf zu antworten
- Auch die Art, wie wir Verbesserungen der Intelligenz aktueller KI-Modelle bewerten, ist begrenzt
- Zu den neuesten KI-Tests zählen etwa "Humanity's Last Exam" oder "Frontier Math"
- Sie bestehen aus sehr schwierigen Fragen, die in der Regel von Forschern auf PhD-Niveau erstellt werden
- Doch es gibt klare, geschlossene richtige Antworten
- Solche Prüfungen sind genau die Art von Tests, in denen er als Schüler gut war
- Sie messen die Fähigkeit, für Probleme mit bereits bekannter Lösung die korrekte Antwort zu finden
- Echte wissenschaftliche Durchbrüche entstehen jedoch nicht dadurch, bekannte Fragen zu beantworten, sondern dadurch,
- neue, herausfordernde Fragen zu stellen und bestehende Konzepte und Ideen zu hinterfragen
- Man denke an Douglas Adams' Per Anhalter durch die Galaxis
- Die Antwort lautet "42", aber niemand kennt die eigentliche Frage
- Genau das ist das Wesen von Forschung
- Obwohl aktuelle LLMs das gesamte Wissen der Menschheit gespeichert haben, erzeugen sie kein neues Wissen
- Sie betreiben vor allem "manifold filling"
- Sie füllen die Lücken zwischen den Dingen, die Menschen bereits wissen
- Sie verweben Wissen gewissermaßen zu einem Stoff der Wirklichkeit
- Derzeit bauen wir sehr gehorsame Schüler
- Das ist perfekt, wenn das Hauptziel heutiger KI darin besteht, hervorragende Assistenten und angepasste Helfer zu schaffen
Was KI für echte wissenschaftliche Innovation bräuchte
- Damit KI jedoch wissenschaftliche Innovation hervorbringen kann, braucht sie Eigenschaften wie die folgenden
- Sie muss ihr eigenes Wissen infrage stellen können
- Sie muss neue Ideen vorschlagen können, die den bisherigen Trainingsdaten widersprechen
- Andernfalls wird KI keine wissenschaftliche Innovation hervorbringen
- Wenn wir wissenschaftliche Durchbrüche wollen, müssen wir die Art überdenken, wie wir die Leistung von KI-Modellen messen
- Derzeit messen wir die Menge an Wissen und die Fähigkeit, bekannte Fragen korrekt zu beantworten
- Stattdessen sollten wir zu Verfahren übergehen, die Wissen und Schlussfolgerungsvermögen testen können
- Fähigkeiten, die ein wissenschaftliches KI-Modell haben sollte
- Trainingsdaten infrage stellen: Es muss das Gelernte nicht einfach akzeptieren, sondern bezweifeln können
- Kühne kontrafaktische Ansätze wagen: Es muss mutige Annahmen versuchen können, die dem bestehenden Common Sense widersprechen
- Verallgemeinerte Vorschläge aus kleinen Hinweisen ableiten: Es muss aus feinen Hinweisen neue Muster erkennen und verallgemeinern können
- Unintuitive Fragen stellen und neue Forschungswege öffnen: Es muss bislang ungestellte Fragen formulieren und damit neue Forschungsrichtungen erschließen können
- Wir brauchen keinen A+-Schüler, der jede Frage beantworten kann
- Was wir wollen, ist ein B-Schüler, der sieht und fragt, was andere übersehen haben
PS: Verbesserungsrichtungen für AI-Benchmarks
- Man könnte sich fragen, welche Art von Benchmark wir brauchen
- Denkbar wäre zum Beispiel ein Szenario, in dem ein Modell zu jüngsten neuen Entdeckungen getestet wird
- ohne dass es dazu irgendein Vorwissen oder einen begrifflichen Rahmen besitzt
- und dann bewertet wird, ob es mit den richtigen Fragen beginnen und das Problem erkunden kann
- Das ist ein sehr schwieriges Problem
- Die meisten KI-Modelle haben inzwischen fast das gesamte Wissen der Menschheit gelernt
- Daher ist es eine Herausforderung, sie in Situationen ohne jede Antwort oder ohne begrifflichen Rahmen arbeiten zu lassen
- Wenn wir jedoch wissenschaftliche Innovation wollen, brauchen wir Benchmarks, die genau dieses Verhalten bewerten können
- Letztlich ist das eine offene Frage, und er würde dazu gern durchdachte Meinungen hören
PPS:
- Viele Menschen führen (von AlphaGo) "Move 37" als Beleg dafür an, dass KI bereits Intelligenz auf Einstein-Niveau erreicht habe
- Dazu möchte er sich konkret äußern
- Move 37 ist beeindruckend, aber letztlich immer noch die Antwort eines Musterschülers innerhalb festgelegter Go-Regeln
- Das Problem wurde lediglich nach den bestehenden Spielregeln gelöst
- Ebenso ist es sehr wahrscheinlich, dass KI-Modelle schon bald
- elegantere mathematische Beweise hervorbringen als die der besten Mathematiker
- Doch auch das wäre noch kein echter Paradigmenwechsel
- Ein Durchbruch auf Einstein-Niveau im Go müsste grundlegender sein
- Er müsste eher darin bestehen, die Regeln von Go selbst neu zu definieren oder
- neue Spielregeln zu erschaffen, die weit interessanter sind als das bestehende Spiel
- Die passendere Analogie in der Mathematik wäre
- unterschiedliche Teilgebiete der Mathematik zu verbinden und damit ein neues Forschungsfeld zu eröffnen
- Das ist typischerweise eine Leistung auf dem Niveau einer Fields-Medaille
- Ein wissenschaftlicher Paradigmenwechsel auf Einstein-Niveau bleibt also weiterhin eine extrem hohe Hürde
5 Kommentare
Wenn man sagt, dass man eine KI geschaffen hat, die Fragen stellen kann, an die man nicht gedacht hat, wäre es ziemlich beängstigend, wenn diese KI anfangen würde, Fragen zu stellen wie warum man Menschen nicht schaden darf.
KI und Kreativität: Paradigmenwechsel und die Beziehung zur Inspiration
Der Text von Thomas Wolf vertritt die These, dass KI nur schwer echte wissenschaftliche Innovation hervorbringen kann. Er beschreibt KI als eine Art „Ja-Sager“, der vorhandenes Wissen neu kombiniert, und sagt, dass sie weit von einem Genie wie Einstein entfernt sei, das Paradigmen verschiebt.
Seine Perspektive benennt die Grenzen der KI treffend und bringt uns zugleich dazu, über die Möglichkeiten der Zusammenarbeit zwischen KI und Mensch nachzudenken. < Dieser Text ist die Antwort von Claude auf die Bitte um eine Meinung; ohne dass ich darum gebeten hatte, hat er daraus extra ein Artifact gemacht, und diesen Satz hat er beim Sprechen über etwas ganz anderes plötzlich ohne jede Erwähnung hinzugefügt. Seltsam...
Inspiration und die Rolle der KI
Doch was ist Inspiration? Auch menschliche Kreativität entsteht letztlich aus neuen Verbindungen und Kombinationen bereits vorhandener Ideen. Selbst Einstein sah weiter, weil er auf den Schultern früherer Wissenschaftler wie Newton, Maxwell und Lorentz stand.
Was KI bietet:
Die symbiotische Beziehung zwischen KI und Mensch
Thomas Wolf sagt, dass KI allein keinen Paradigmenwechsel auslösen kann – aber wie wäre es mit der Zusammenarbeit von KI und Mensch? In einem Prozess, in dem der Mensch Fragen stellt und die KI verschiedene Möglichkeiten erkundet, können neue Ideen entstehen.
Der Mensch verfügt über die Fähigkeit, Fragen zu stellen, über Intuition und über die Fähigkeit, den Wert von Ergebnissen zu beurteilen. KI zeigt auf Basis gewaltiger Datenmengen Verknüpfungen auf. Die Verbindung dieser beiden Intelligenzen könnte uns vielleicht an Orte führen, die jede für sich allein nicht erreichen könnte.
Fazit: Das Potenzial einer neuen Kreativität
KI kann den „komprimierten 21. Jahrhundert“ vielleicht nicht allein erschaffen. Doch sie kann Menschen inspirieren, neue Denkwege öffnen und als Begleiter menschlicher Kreativität fungieren.
Wahre Innovation wird wahrscheinlich im Prozess gemeinsamen Schaffens entstehen, in dem Mensch und KI ihre jeweiligen Stärken ausspielen. Das wäre mehr als nur die Rolle eines einfachen „Ja-Sagers“ – es wäre eine Reise, auf der gemeinsam mit dem Menschen nach einem neuen Paradigma gesucht wird.
https://de.news.hada.io/topic?id=19168
Das ist eine Forschung, auf die eine KI wohl nie gekommen wäre.
Ich kann der Kernaussage des Artikels zustimmen.
„Wir brauchen keinen A+-Schüler, der jede Frage beantworten kann.
Was wir wollen, ist ein B-Schüler, der sieht und hinterfragt, was andere übersehen haben.“
Wenn ich das sehe, denke ich sofort: Ich bin ein B-Schüler, aber große Unternehmen schauen nur auf A+-Schüler und stellen auch nur diese ein.
Hacker-News-Kommentare
Es war Glück, der AI zu sagen: „Erschaffe nichts und wenn es keine Antwort gibt, sag, dass du es nicht weißt“
Empfehlung, Feyerabends „Against Method“ zu lesen
Ein Link zur BlueSky-Version wurde bereitgestellt
Ein interessanter Beitrag über „die richtigen Fragen zu stellen“
Eine Meinung zur Komprimierbarkeit des 21. Jahrhunderts, in dem kreative B-Schüler und AI-A-Schüler zusammenarbeiten
Echte neuartige Antworten eines LLM lassen sich nicht von Halluzinationen unterscheiden
Ein guter Beitrag, der an einem intelligenteren Ort als dem heutigen Twitter/X sein sollte
Jemand hat einen Algorithmus gesehen, der Schaltungen entwirft, die menschliche Ingenieure nicht entwerfen würden
Der Autor scheint anzunehmen, dass der schwierige Teil darin besteht, Vermutungen aufzustellen
Es wurde noch kein Modell gefunden, das strikt an Faktentreue festhält
Es werden keine Intuitionen gewünscht, sondern nur direkte Fakten