Wenn man den No-Free-Lunch-Satz erwähnt, sollte man auch den Hinweis hinzufügen, dass er in der Praxis gar kein so großes Hindernis ist.
Schon die Annahme, dass Daten aus der realen Welt stammen, reicht aus, damit dieser Satz nicht im Weg steht.
Das Buch geht darauf überhaupt nicht ein; schön wäre eine Erklärung, dass „alle Verteilungen“ hier eher einer Verallgemeinerung aller möglichen Bitfolgen, wie sie durch Münzwürfe erzeugt werden, auf einen hochdimensionalen Raum diskontinuierlicher Funktionen entspricht, während stetige Funktionen nur eine sehr kleine Teilmenge davon sind.
Letztlich bedeutet das eher: Wenn Daten aus einer gleichverteilten Zufallsverteilung „aller Möglichkeiten“ stammen, kann man so etwas wie das Ergebnis des nächsten Münzwurfs nicht lernen und vorhersagen.
Genau. Diese Art von No-Free-Lunch-Satz oder Ergebnisse unter allzu allgemeinen Annahmen wirken meist übermäßig pessimistisch.
Zum Beispiel denken viele naiv, wegen des Halteproblems oder des Satzes von Rice sei statische Programmanalyse unmöglich.
Ähnlich wie Humes Induktionsproblem. Ohne Annahmen kann man vergangene Beobachtungen nicht mit Vorhersagen über die Zukunft verknüpfen.
Nur weil die Sonne tausend Morgen lang aufgegangen ist, wird es nicht automatisch wahrscheinlicher oder unwahrscheinlicher, dass sie morgen ebenfalls aufgeht; man muss eine Annahme der Art treffen, dass Ereignisse über die Zeit hinweg im Großen und Ganzen ähnlich weiterlaufen.
Solche Annahmen lassen sich nicht aus den Daten gewinnen. Selbst wenn es in der Vergangenheit ähnlich weiterging, sagt das nichts über die Zukunft aus.
Trotzdem funktioniert Wissenschaft trotz dieses Problems gut, und Machine Learning funktioniert weiterhin gut, weil Menschen beim Entwurf von Algorithmen Erfahrung und Vorwissen nutzen.
Solche Annahmen nennt man Induktionsbias; sie lenken das Lernen in Richtung bestimmter Muster wie „nahe beieinanderliegende Dinge sind meist ähnlich“.
Ich bin mir nicht sicher, wie dieser Hinweis hier greift. Ich verstehe den No-Free-Lunch-Satz nicht so, dass manche Probleme nicht lernbar seien, sondern dass es keinen einzelnen Algorithmus gibt, der für alle Problemklassen gut funktioniert.
Die Beispiele im Beweis mögen künstlich sein, aber wählt man in der Praxis nicht je nach zusätzlichen Annahmen unterschiedliche Algorithmen aus?
Lerntheorie ist der Versuch, Naturwissenschaft bis hin zur Entscheidungsfindung zu formalisieren. Die verborgene Annahme der Naturwissenschaft ist, dass man mit einem hinreichend ausgefeilten algorithmischen Weltmodell aus vergangenen Beobachtungen zukünftige Beobachtungen vorhersagen kann.
Das ist dieselbe Annahme, die Solomonoff beim Beweis induktiven Schließens macht; daher sollte man nicht von Rissanens sogenannter „universeller“ Kodierung ausgehen, sondern von Turing-vollständiger Kodierung.
Beim Aufbau von Untertheorien ist es in Ordnung, sich von diesem Ausgangspunkt zu entfernen; wenn man dort aber nicht beginnt, führt das zu Müllresultaten wie der Verwirrung der letzten 50 Jahre darüber, was das „Prinzip der minimalen Beschreibungslänge“ genau bedeutet.
Nicht in Ordnung ist das allerdings, wenn man kausale Modelle bauen will. Um dynamische Systeme zu modellieren, kommt man nicht von Turing-vollständigem Code weg.
Man kann dynamische Systeme zwar als endliche Automaten mit sehr vielen Zuständen betrachten, aber um optimal komprimierten Code zu erzeugen, braucht man eine Turing-vollständige Semantik, die auf einem gerichteten zyklischen Graphen aus sehr vielen, aber endlichen Flipflops oder universellen Gattern wie NOR und NAND läuft.
Hat man inzwischen herausgefunden, was die Ursache von Double Descent ist?
Ich weiß nicht, ob das ein verallgemeinertes Ergebnis ist, aber das Circuits-Team von Anthropic hat eine ziemlich überzeugende Hypothese aufgestellt. Die erste Abstiegsphase sei die Phase, in der das Modell Datenpunkte auswendig lernt, und die zweite Abstiegsphase sei der Übergang hin zum geometrischen Lernen von Features.
Features kann man sich hier als abstrakten, sehr hochdimensionalen Vektorraum vorstellen.
Das Team untersucht intensiv die Idee der Superposition, bei der ein einzelnes Neuron mehrere Konzepte kodiert.
Es experimentiert mit Toy-Modellen und Datensätzen, die latente Features explizit darstellen und sie dann in eine kleine Menge von Datendimensionen komprimieren, sodass Superposition erzwungen wird, und zeigt, wie diese Superposition je nach Größe der Trainingsdaten aussieht.
Es ist offensichtlich ein Toy-Modell, aber zumindest für Modelle, die Superposition erleben, ist es ein überzeugender Gedanke. https://transformer-circuits.pub/2023/toy-double-descent/ind...
Ich bin kein Experte, aber dieses Paper untersucht Double Descent anhand eines einfachen Modells.
Die Interpretation ist folgende: Wenn man in den überparametrisierten Bereich skaliert, kann man in Richtung von Gewichten mit kleiner Norm optimieren, und solche Gewichte generalisieren wiederum gut.
Ob das Double Descent allgemein erklärt und ob es auch für andere Modelle wie tiefe neuronale Netze gilt, ist eine andere Frage. https://arxiv.org/pdf/2303.14151.pdf
Noch nicht. Meine persönliche Lieblingshypothese ist, dass stochastischer Gradientenabstieg eben buchstäblich stochastisch ist.
Da auf einem sehr kleinen Teilset statt auf dem gesamten Trainingskorpus optimiert wird, ist der Gradient nicht exakt.
Die Idee ist, dass übermäßiges Training lokale Optima durchdrückt und das Modell, statt lokale Overfitting-Senken zu umgehen, rekursiv in Richtung der tatsächlichen Verteilung voranbringt.
Im Internet gibt es wirklich sehr viele hervorragende kostenlose Mathematik-PDFs von Wissenschaftlern, Lehrenden und Ingenieuren. Das Problem ist, dass es auch enorm viel inhaltliche Überschneidung gibt.
Ich frage mich, ob man ein AI-Modell bauen könnte, das Bündel überlappender Materialien gut zu einem konsistenten PDF ohne Redundanzen zusammenführt.
Vielleicht reicht es auch, einfach das Buch zu nehmen, das in der jeweiligen Uni-Vorlesung verwendet wird.
Dafür braucht man nicht einmal ein AI-Modell. Murphys Probabilistic Machine Learning ist ein hervorragendes Nachschlagewerk und eine hervorragende Ressource.
Eine kleine Spitzfindigkeit, aber der Titel ist verwirrend. Das erste Wort sollte besser in Machine-Learning oder Statistical-Learning geändert werden.
Hoffentlich korrigiert der Autor das irgendwann so.
Ziemlich schwer zu lesen. Zum Beispiel wird gleich auf der ersten Seite von Kapitel 1 über die Minimierung quadratischer Formen gesprochen und etwas gezeigt, das wie die Formel für lineare kleinste Quadrate aussieht, aber es gibt keinerlei Erklärung, ob das stimmt
Etwas mehr Erläuterung wäre wohl hilfreich
Dass es viele Übungsaufgaben gibt, gefällt mir
Dieser Text scheint sich an Leute zu richten, die bereits einen gewissen mathematischen Hintergrund haben und damit Lerntheorie verstehen wollen
Außerdem steht bei dem betreffenden Kapitel ausdrücklich, dass es eine Wiederholung ist; es wird also vorausgesetzt, dass man den Stoff anderswo bereits gelernt hat oder noch lernen wird
Bei First Principles anzufangen heißt nicht, dass es leicht zu lesen ist
Wie der Geschwisterkommentar sagt, ist dieses Material eindeutig nicht für Leute gedacht, die es zum ersten Mal lernen
Trotzdem stimmt die Intuition. Wenn man die Zielfunktion der gewöhnlichen kleinsten Quadrate hinschreibt, erhält man eine quadratische Form
Die Wortwahl „quadratisch“ ist hier kein Zufall; es ist eine Verallgemeinerung quadratischer Funktionen auf Matrizen
Dieser Abschnitt behandelt die Vektorversion der Minimierung quadratischer Funktionen
Es sieht definitiv nicht so aus, als würde es bei den First Principles anfangen
Die Methode der kleinsten Quadrate ist quadratisch
Quadratisch bedeutet, dass es einen quadrierten Term gibt
Interessant. Gibt es ein gutes Buch zu diesem Thema?
Interessant. Ich sollte es mir ansehen, wenn ich mehr Zeit habe
Auf den ersten Blick scheint es ziemlich viele Inhalte mit diesem Buch [1] gemeinsam zu haben. Ich frage mich, worin sie sich unterscheiden
[1]: https://www.cambridge.org/core/books/understanding-machine-l...
Ein Machine-Learning-Buch von 2014 – das fühlt sich inzwischen altmodisch und historisch an
Ich freue mich auf den Tag, an dem ich GPT-5 sagen kann: „Ich habe eine Idee, die ich ausprobieren möchte; lies dieses Buch und sag mir, ob darin etwas steht, das relevant ist, um sie besser funktionieren zu lassen“
Ich habe noch nie gehört, dass ein LLM eine neue Idee hervorgebracht hätte. Geht das nicht nur, wenn es eine Idee ist, die schon einmal jemand ausprobiert hat?
Ich merke, dass die Kontextübergabe für $this der schwierige Teil ist
Es ist sehr schwer, meinen Kontext als Nutzer mit ein paar niedrigdimensionalen Variablen zu beschreiben, und ich verstehe meine eigene Situation im Universum selbst nicht gut genug, um sie einer KI zu erklären
Auch das gemeinsame Vokabular mit der KI ist unzureichend. Das Internet fühlt sich so an, als sei es gelungen, über das gemeinsame Protokoll HTTP konsistent vereinbarte Zustände hin- und herzuschicken
Innerhalb von Uber zum Beispiel kann man Zustände in einer engen Request-Response-Welt wie Telefonnummer, Fahrzeug, GPS, aktuelle Uhrzeit und Zahlung übertragen
Aber ich weiß nicht, wie ich als Student, der Algorithmen lernen will, komplexe Informationen wie mein Alter, meine Internetumgebung, meinen Wohnort, meine Vorliebe für grafische Erklärungen, meine Vorgeschichte, von dicken Büchern eingeschüchtert zu sein, Meilensteine wie CS50 oder meine Python-Kenntnisse übergeben soll
Auch bei Startup-Ideen reicht die Aussage „geringe Traktion“ nicht aus; man muss Zustände wie VC-, Entwickler- und Vertriebsnetzwerke, Nachweise erfolgreicher Partnerschaften, Teilnehmerzahlen und Umsatz übermitteln
Selbst in der realen Welt sind die Kontexte der Einzelnen so unterschiedlich, dass ein solches Vokabular nur in kleinen Taschen existiert
Problematisch ist auch die Annahme, Wissen existiere wie eine globale, ewige Variable. In manchen Regionen haben viele Menschen nicht einmal Strom oder ein einfaches Handy, sodass selbst die Frage, ob ein von der KI empfohlenes PDF hilfreich ist, von lokalen Machtstrukturen und Governance abhängt
Ich weiß nicht, wie sich das weiterentwickeln wird, aber schon die Möglichkeiten zu durchdenken ist spannend. Computer können leicht mit uns sprechen und wirken vom ersten Tag an wie kluge Babys, doch am Ende könnte die Unfähigkeit, ausreichend passende und günstige Daten einzuspeisen, der eigentliche Engpass sein, der verhindert, noch mehr Nutzen herauszuholen
Wenn du das Buch selbst liest, wird die Idee besser werden. Dabei lernst du vielleicht auch etwas Neues
1 Kommentare
Meinungen auf Hacker News
Wenn man den No-Free-Lunch-Satz erwähnt, sollte man auch den Hinweis hinzufügen, dass er in der Praxis gar kein so großes Hindernis ist.
Schon die Annahme, dass Daten aus der realen Welt stammen, reicht aus, damit dieser Satz nicht im Weg steht.
Das Buch geht darauf überhaupt nicht ein; schön wäre eine Erklärung, dass „alle Verteilungen“ hier eher einer Verallgemeinerung aller möglichen Bitfolgen, wie sie durch Münzwürfe erzeugt werden, auf einen hochdimensionalen Raum diskontinuierlicher Funktionen entspricht, während stetige Funktionen nur eine sehr kleine Teilmenge davon sind.
Letztlich bedeutet das eher: Wenn Daten aus einer gleichverteilten Zufallsverteilung „aller Möglichkeiten“ stammen, kann man so etwas wie das Ergebnis des nächsten Münzwurfs nicht lernen und vorhersagen.
Zum Beispiel denken viele naiv, wegen des Halteproblems oder des Satzes von Rice sei statische Programmanalyse unmöglich.
Nur weil die Sonne tausend Morgen lang aufgegangen ist, wird es nicht automatisch wahrscheinlicher oder unwahrscheinlicher, dass sie morgen ebenfalls aufgeht; man muss eine Annahme der Art treffen, dass Ereignisse über die Zeit hinweg im Großen und Ganzen ähnlich weiterlaufen.
Solche Annahmen lassen sich nicht aus den Daten gewinnen. Selbst wenn es in der Vergangenheit ähnlich weiterging, sagt das nichts über die Zukunft aus.
Trotzdem funktioniert Wissenschaft trotz dieses Problems gut, und Machine Learning funktioniert weiterhin gut, weil Menschen beim Entwurf von Algorithmen Erfahrung und Vorwissen nutzen.
Solche Annahmen nennt man Induktionsbias; sie lenken das Lernen in Richtung bestimmter Muster wie „nahe beieinanderliegende Dinge sind meist ähnlich“.
Die Beispiele im Beweis mögen künstlich sein, aber wählt man in der Praxis nicht je nach zusätzlichen Annahmen unterschiedliche Algorithmen aus?
Lerntheorie ist der Versuch, Naturwissenschaft bis hin zur Entscheidungsfindung zu formalisieren. Die verborgene Annahme der Naturwissenschaft ist, dass man mit einem hinreichend ausgefeilten algorithmischen Weltmodell aus vergangenen Beobachtungen zukünftige Beobachtungen vorhersagen kann.
Das ist dieselbe Annahme, die Solomonoff beim Beweis induktiven Schließens macht; daher sollte man nicht von Rissanens sogenannter „universeller“ Kodierung ausgehen, sondern von Turing-vollständiger Kodierung.
Beim Aufbau von Untertheorien ist es in Ordnung, sich von diesem Ausgangspunkt zu entfernen; wenn man dort aber nicht beginnt, führt das zu Müllresultaten wie der Verwirrung der letzten 50 Jahre darüber, was das „Prinzip der minimalen Beschreibungslänge“ genau bedeutet.
Nicht in Ordnung ist das allerdings, wenn man kausale Modelle bauen will. Um dynamische Systeme zu modellieren, kommt man nicht von Turing-vollständigem Code weg.
Man kann dynamische Systeme zwar als endliche Automaten mit sehr vielen Zuständen betrachten, aber um optimal komprimierten Code zu erzeugen, braucht man eine Turing-vollständige Semantik, die auf einem gerichteten zyklischen Graphen aus sehr vielen, aber endlichen Flipflops oder universellen Gattern wie NOR und NAND läuft.
Hat man inzwischen herausgefunden, was die Ursache von Double Descent ist?
Features kann man sich hier als abstrakten, sehr hochdimensionalen Vektorraum vorstellen.
Das Team untersucht intensiv die Idee der Superposition, bei der ein einzelnes Neuron mehrere Konzepte kodiert.
Es experimentiert mit Toy-Modellen und Datensätzen, die latente Features explizit darstellen und sie dann in eine kleine Menge von Datendimensionen komprimieren, sodass Superposition erzwungen wird, und zeigt, wie diese Superposition je nach Größe der Trainingsdaten aussieht.
Es ist offensichtlich ein Toy-Modell, aber zumindest für Modelle, die Superposition erleben, ist es ein überzeugender Gedanke.
https://transformer-circuits.pub/2023/toy-double-descent/ind...
Mehr Details gibt es hier: https://calculatedcontent.com/2019/12/03/towards-a-new-theor...
Die Interpretation ist folgende: Wenn man in den überparametrisierten Bereich skaliert, kann man in Richtung von Gewichten mit kleiner Norm optimieren, und solche Gewichte generalisieren wiederum gut.
Ob das Double Descent allgemein erklärt und ob es auch für andere Modelle wie tiefe neuronale Netze gilt, ist eine andere Frage.
https://arxiv.org/pdf/2303.14151.pdf
Da auf einem sehr kleinen Teilset statt auf dem gesamten Trainingskorpus optimiert wird, ist der Gradient nicht exakt.
Die Idee ist, dass übermäßiges Training lokale Optima durchdrückt und das Modell, statt lokale Overfitting-Senken zu umgehen, rekursiv in Richtung der tatsächlichen Verteilung voranbringt.
Im Internet gibt es wirklich sehr viele hervorragende kostenlose Mathematik-PDFs von Wissenschaftlern, Lehrenden und Ingenieuren. Das Problem ist, dass es auch enorm viel inhaltliche Überschneidung gibt.
Ich frage mich, ob man ein AI-Modell bauen könnte, das Bündel überlappender Materialien gut zu einem konsistenten PDF ohne Redundanzen zusammenführt.
Eine kleine Spitzfindigkeit, aber der Titel ist verwirrend. Das erste Wort sollte besser in Machine-Learning oder Statistical-Learning geändert werden.
Hoffentlich korrigiert der Autor das irgendwann so.
Ziemlich schwer zu lesen. Zum Beispiel wird gleich auf der ersten Seite von Kapitel 1 über die Minimierung quadratischer Formen gesprochen und etwas gezeigt, das wie die Formel für lineare kleinste Quadrate aussieht, aber es gibt keinerlei Erklärung, ob das stimmt
Etwas mehr Erläuterung wäre wohl hilfreich
Dass es viele Übungsaufgaben gibt, gefällt mir
Außerdem steht bei dem betreffenden Kapitel ausdrücklich, dass es eine Wiederholung ist; es wird also vorausgesetzt, dass man den Stoff anderswo bereits gelernt hat oder noch lernen wird
Trotzdem stimmt die Intuition. Wenn man die Zielfunktion der gewöhnlichen kleinsten Quadrate hinschreibt, erhält man eine quadratische Form
Die Wortwahl „quadratisch“ ist hier kein Zufall; es ist eine Verallgemeinerung quadratischer Funktionen auf Matrizen
Dieser Abschnitt behandelt die Vektorversion der Minimierung quadratischer Funktionen
Quadratisch bedeutet, dass es einen quadrierten Term gibt
Interessant. Gibt es ein gutes Buch zu diesem Thema?
Interessant. Ich sollte es mir ansehen, wenn ich mehr Zeit habe
Auf den ersten Blick scheint es ziemlich viele Inhalte mit diesem Buch [1] gemeinsam zu haben. Ich frage mich, worin sie sich unterscheiden
[1]: https://www.cambridge.org/core/books/understanding-machine-l...
Ich freue mich auf den Tag, an dem ich GPT-5 sagen kann: „Ich habe eine Idee, die ich ausprobieren möchte; lies dieses Buch und sag mir, ob darin etwas steht, das relevant ist, um sie besser funktionieren zu lassen“
$thisder schwierige Teil istEs ist sehr schwer, meinen Kontext als Nutzer mit ein paar niedrigdimensionalen Variablen zu beschreiben, und ich verstehe meine eigene Situation im Universum selbst nicht gut genug, um sie einer KI zu erklären
Auch das gemeinsame Vokabular mit der KI ist unzureichend. Das Internet fühlt sich so an, als sei es gelungen, über das gemeinsame Protokoll HTTP konsistent vereinbarte Zustände hin- und herzuschicken
Innerhalb von Uber zum Beispiel kann man Zustände in einer engen Request-Response-Welt wie Telefonnummer, Fahrzeug, GPS, aktuelle Uhrzeit und Zahlung übertragen
Aber ich weiß nicht, wie ich als Student, der Algorithmen lernen will, komplexe Informationen wie mein Alter, meine Internetumgebung, meinen Wohnort, meine Vorliebe für grafische Erklärungen, meine Vorgeschichte, von dicken Büchern eingeschüchtert zu sein, Meilensteine wie CS50 oder meine Python-Kenntnisse übergeben soll
Auch bei Startup-Ideen reicht die Aussage „geringe Traktion“ nicht aus; man muss Zustände wie VC-, Entwickler- und Vertriebsnetzwerke, Nachweise erfolgreicher Partnerschaften, Teilnehmerzahlen und Umsatz übermitteln
Selbst in der realen Welt sind die Kontexte der Einzelnen so unterschiedlich, dass ein solches Vokabular nur in kleinen Taschen existiert
Problematisch ist auch die Annahme, Wissen existiere wie eine globale, ewige Variable. In manchen Regionen haben viele Menschen nicht einmal Strom oder ein einfaches Handy, sodass selbst die Frage, ob ein von der KI empfohlenes PDF hilfreich ist, von lokalen Machtstrukturen und Governance abhängt
Ich weiß nicht, wie sich das weiterentwickeln wird, aber schon die Möglichkeiten zu durchdenken ist spannend. Computer können leicht mit uns sprechen und wirken vom ersten Tag an wie kluge Babys, doch am Ende könnte die Unfähigkeit, ausreichend passende und günstige Daten einzuspeisen, der eigentliche Engpass sein, der verhindert, noch mehr Nutzen herauszuholen