Einen Elefanten mit vier Nicht-Null-Parametern fitten

 (arxiv.org)
1 Punkte von GN⁺ 2024-07-15 | 1 Kommentare | Auf WhatsApp teilen
  • Ausgangspunkt ist eine Anekdote aus dem Jahr 1953, in der Enrico Fermi mit einem Zitat von Johnny von Neumann Freeman Dysons Modell kritisierte: das Problem, „mit vier Parametern einen Elefanten zu fitten“
  • Das Zitat wurde als Kritik daran verwendet, dass ein Modell mit zunehmender Zahl von Parametern zwar gut zu den Daten zu passen scheint, damit aber noch keine physikalische Bedeutung garantiert ist
  • Frühere Versuche erfüllten die Bedingungen nicht vollständig: Wei verwendete mehr als 20 Parameter, und Mayer et al. schienen zwar vier komplexe Zahlen zu nutzen, was tatsächlich aber 8 Parametern entspricht
  • Paintadosis Ein-Parameter-Ansatz kann zwar beliebige Formen zeichnen, kodiert die Form jedoch über eine extrem lange reelle Präzision und trifft damit nicht den Sinn des Problems
  • Der Beitrag weist auf die Grenze hin, dass das Problem selbst nicht hinreichend definiert war, und versucht, unter den gegebenen Bedingungen eine Elefantenkurve mit nur vier Nicht-Null-Parametern zu fitten

Ein Problem, das mit Fermis Kritik begann

  • 1953 kritisierte Enrico Fermi Dysons Modell und zitierte dabei Johnny von Neumann
    • „With four parameters I can fit an elephant, and with five I can make him wiggle his trunk.“
  • Gemeint ist: Selbst wenn ein Modell komplex ist und gut zu den Daten passt, lässt sich tatsächliche physikalische Bedeutung schwer garantieren, wenn dies lediglich das Ergebnis einer höheren Anzahl von Parametern ist
  • Die zentrale Frage ist, ob man tatsächlich mit nur vier Parametern einen Elefanten fitten kann

Wo frühere Lösungen an den Anforderungen vorbeigingen

  • Wei versuchte, einen Elefanten mit einer Fourier-Reihe (Fourier series) zu fitten, benötigte für ein halbwegs gutes Ergebnis jedoch mehr als 20 Parameter
    • Das Ergebnis wurde so bewertet, dass es möglicherweise nicht einmal eine „Kunstlehrkraft der dritten Klasse“ zufriedenstellen würde
  • Mayer et al. fitteten einen Elefanten mit vier komplexen Zahlen
    • Da komplexe Zahlen einen Real- und einen Imaginärteil haben, wurden tatsächlich 8 Parameter verwendet
    • Zählt man auch die Null-Parameter mit, kommt man auf 20
    • Das resultierende Bild wurde als schön im Stil von Picasso bewertet
  • Paintadosi behauptete, ein einziger Parameter genüge, und konstruierte eine Funktion, mit der sich mit einem Parameter jede beliebige Form zeichnen lässt
    • Das ähnelt jedoch eher einer Kodierung, bei der die Form auf eine einzelne reelle Zahl mit Hunderten oder Tausenden Stellen Präzision abgebildet wird, und ist daher in diesem Problem kaum als gültige Lösung anzusehen
    • Der Fokus dieser Arbeit liegt darauf, dass das Zählen von Parametern als Maß für Modellkomplexität scheitern kann
  • Dieses Paper ordnet zunächst die Problembedingungen und stellt dann, anders als frühere Versuche, eine Methode vor, mit vier Nicht-Null-Parametern einen Elefanten zu fitten

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2024-07-15
Hacker-News-Kommentare

  • Mir gefällt die ironische Seite des Artikels. Es wäre gut, noch zu ergänzen, warum Fermi und von Neumann das gesagt haben
    Wenn man in der Physik ein Modell der Realität erstellt, sollte man nicht einfach Parameter einzeln hinzufügen, nur weil es nicht zu den Experimenten passt, um die Daten passend zu machen. Idealerweise gibt es 0 oder möglichst wenige Parameter, und noch tiefergehend sollten Parameter natürlich aus einfachen Annahmen hervorgehen. Bei 4 Parametern ist schwer zu sagen, ob damit tatsächlich ein Aspekt der Realität erfasst wird oder ob nur experimentelle Daten nachgebildet werden

    • Das steht bereits im ersten Absatz der Arbeit, und der Text selbst ist insgesamt eher humorvoll
      Allerdings scheint die Weisheit dieses Bonmots in vielen Bereichen ziemlich in Vergessenheit geraten zu sein. In vielen Feldern werden Daten mit riesigen Regressionsmodellen mit Dutzenden Parametern oder mit neuronalen Netzen mit Milliarden Parametern „modelliert“

      In 1953, Enrico Fermi criticized Dyson’s model by quoting Johnny von Neumann: “With four parameters I can fit an elephant, and with five I can make him wiggle his trunk.”[1]. This quote is intended to tell Dyson that while his model may appear complex and precise, merely increasing the number of parameters to fit the data does not necessarily imply that the model has real physical significance.

    • Ein Modell mit 0 Parametern scheint eher näher an der Mathematik zu sein, da es aus ersten Prinzipien abgeleitet werden kann. Wenn man etwa den euklidischen Raum annimmt, ergeben sich Formeln wie die für die Oberfläche einer Kugel
      Physik beginnt meiner Ansicht nach dort, wo es mindestens eine Naturkonstante gibt, die man messen muss, etwa die Krümmung des realen Raums oder die Gravitationsbeschleunigung
    • Hodgkin und Huxley leisteten mit ihrer Untersuchung des Riesenaxons des Tintenfischs bahnbrechende Arbeit zur Modellierung neuronaler Aktivität
      Durch Kurvenanpassung an die aufgezeichneten Potentiale und die injizierten Ströme gewannen sie mehrere Parameter; viel später stellte sich heraus, dass diese den Natriumkanälen entsprachen. Ähnlich entsprachen andere Prozesse den Kaliumkanälen. Wenn man ein Modell nicht mit 3 Parametern erklären kann, sind mehrere Parameter, selbst 4, aus meiner Sicht kein allzu großes Problem
    • Das tatsächlich zuerst umgesetzte Beispiel war James Weis Least square fitting of an elephant (1975, Chemtech)

  • Der Artikel ist humorvoll und gut geschrieben, aber ich denke, er ist noch mehr als das
    Über ML/AI macht man oft den scherzhaften wie auch beobachtenden Kommentar, es sei bloß Kurvenanpassung. Ob aus „bloßer Kurvenanpassung“ etwas Intelligentes entstehen kann, ist meiner Meinung nach noch offen, nicht zuletzt weil „intelligent“ für verschiedene Menschen Unterschiedliches bedeutet
    Hier wird eine sehr saubere und leicht verständliche Kurvenanpassung gezeigt, aber im Kern ist es derselbe Prozess. Man setzt ein Ziel, optimiert auf einer Verlustfunktion und hofft auf Generalisierung. Natürlich generalisiert dieser Elefant nicht, aber niedlich ist er schon
    Damit landet man wieder bei der Frage von von Neumann, warum man so viele Parameter braucht. Ironischerweise hat man in letzter Zeit mit einer enormen Anzahl an Parametern viele Dinge erreicht, sodass die Antwort gewissermaßen lautet: „Mit vielen Parametern kann man coole Dinge tun“

    • Eine fortlaufende Kurvenanpassung an die reale Welt kann Intelligenz hervorbringen. Es fehlt nicht etwas im Inneren des Modells, sondern ein Mechanismus zum Erkunden, Suchen und Erweitern von Erfahrung
      Derzeit bauen LLMs lediglich auf menschlicher Erfahrung auf und waren kaum daran beteiligt, eigene Erfahrungen zu erzeugen. Deshalb nennt man sie Imitationslernen oder Papageien. Wenn Modelle aber agentischer werden, können sie selbst nützliche Erfahrungen erzeugen, und AlphaZero zeigt das
    • In der KI gilt: Je mehr Parameter, desto besser; in der Physik gilt das Gegenteil
    • Das Detail ist entscheidend. Beim Reinforcement Learning bewegt sich das Ziel, und im Deep Learning nutzt man oft Verfahren wie Early Stopping, um übermäßige Optimierung zu verhindern

  • Freeman Dyson erinnerte sich im Web-of-Life-Interview an die Anekdote, die diese Arbeit inspirierte. Es gibt auch einen Link, der direkt zur Elefanten-Anpassung springt
    [1] https://youtu.be/hV41QEKiMlM
    [2] https://youtu.be/hV41QEKiMlM?t=118

  • Ein Parameter reicht aus: https://aip.scitation.org/doi/10.1063/1.5031956

    • Das ist ähnlich wie die Aussage, man könne unbegrenzte Kompression erreichen, wenn man die Daten nicht in der Datei, sondern im Dateinamen speichert
    • In der Arbeit heißt es dazu

      Paintadosi [4] argues that one parameter is always enough. He constructed
      a function that, through a single parameter, can depict any shape. However, in
      essence, this work is a form of encoding, mapping the shape into a real number
      with precision extending to hundreds or even thousands of decimal places. For
      our problem, this is meaningless, although the paper’s theme is that “parameter
      counting” fails as a measure of model complexity

    • Die Anzahl der Parameter ist ein falscher Maßstab. Man sollte eher auf Dinge wie den Informationsgehalt der Parameterwerte, Entropie oder Kolmogorov-Komplexität schauen
    • Das ist ähnlich, als würde man sagen, die gesamte Festplatte sei eine einzige Zahl

  • Leider ist in der Arbeit der konstante Term, also der mittlere Wert r_0, nicht explizit angegeben. Er scheint ungefähr bei 180 zu liegen, und um das Bild zu erzeugen, muss dieser Wert stimmen; ich sehe nicht, wie man ihn nicht als fünften notwendigen Parameter zählen könnte
    Deshalb würde ich nicht sagen, dass das Ziel wirklich erreicht wurde. Natürlich war es trotzdem sehr unterhaltsam

    • Im Haupttext heißt es, dieser Wert sei der Mittelwert der anzupassenden Datenpunkte. Ob man ihn als Parameter zählt, hängt wohl davon ab, ob man die Standardisierung als Teil des Modells betrachtet

  • Das war eine großartige Stelle aus Dysons Interview bei Web of Stories, und sie hat mich genauso angesprochen wie offenbar auch die Autoren.
    Es geht um den Moment, als Dyson Fermi vorläufige Ergebnisse von Pions pseudoskalarer Theorie vorlegte. Fermi verwarf das Ganze sehr schnell vollständig; das war für Dyson ein Schock, bewahrte ihn aber davor, noch mehr Zeit zu verschwenden.
    Fermi: Wenn Sie theoretische Berechnungen anstellen, brauchen Sie entweder ein klares physikalisches Modell oder eine strenge mathematische Grundlage. Sie haben weder das eine noch das andere. Wie viele freie Parameter haben Sie für die Anpassung verwendet?
    Dyson: Vier.
    Fermi: Johnny von Neumann sagte immer: „Mit vier Parametern kann man einen Elefanten fitten, und mit fünf kann man ihn mit dem Rüssel wackeln lassen.“

  • Ich wünschte, auf arXiv gäbe es mehr Humor.
    Wenn ich außerhalb der Arbeitszeit und ohne Unternehmensressourcen eine Entdeckung machen würde, würde ich sie auf die humorvollstmögliche Weise veröffentlichen.

  • Auch Dr. Octave Levenspiel darf man nicht vergessen. In meiner Studienzeit war er emeritierter Professor und hat viel Arbeit geleistet, unter anderem im Bereich industrieller Wirbelschichten.
    Die Diskussion um die Elefantenkurve stand damals im Kontext einer Kritik an komplexen Multi-Parameter-Fits bei heterogenen katalytischen Reaktionen. https://levenspiel.com/elephants/
    Eine Zeit lang versuchte er auch, eine aerodynamische Arbeit über den Flug von Dinosauriern zu veröffentlichen. http://levenspiel.com/wp-content/uploads/2016/02/DinosaurW.p...
    Diese Art intellektueller Neugier erinnert ein wenig an Feynmans Tellerdrehen.

  • Warum keine Erwähnung von D’Arcy Thompsons On Growth and Form? Sein parametrisches Modell von Organismen war ziemlich cool. Sehr einfach zwar, aber trotzdem.
    https://en.wikipedia.org/wiki/On_Growth_and_Form

  • So wie ich es verstehe, kann eine Fourier-Reihe mit reellen Parametern r(theta) = sum(r_k cos(k theta)) nur Formen vom Typ „welliger Kreis“ zeichnen, bei denen es auf jedem vom Ursprung ausgehenden Strahl nur einen Punkt gibt.
    Ein komplexwertiger Parameter z(theta) = sum(e^(z_ theta)) kann stärker verschlungene Formen zeichnen, also etwa einen Wasserkocher. Während sich der Zeichenarm dreht, kann sich der Stift wieder zurückbewegen, und jeder Parameter kann den Punkt irgendwohin auf einen kleinen Kreis um den aus dem vorherigen Parameter berechneten Punkt verschieben.
    Unverzichtbares 3B1B-Video: https://m.youtube.com/watch?v=r6sGWTCMz2k
    Ein komplexer Parameter entspricht zwei reellen Parametern, daher sollte man die besten vier Kosinuskurven mit den besten zwei komplexen Exponentialkurven vergleichen.