Pen-and-Paper-Übungen im maschinellen Lernen (2022)

• Pen & Paper ist eine Sammlung ausführlich erklärter Übungsaufgaben, die Leserinnen und Lesern, die bereits mit Theorie und Konzepten des maschinellen Lernens in Berührung gekommen sind, helfen soll, ihr Verständnis durch Problemlösen zu vertiefen
• Wenn Lösungen zu Übungsaufgaben in Lehrbüchern und Vorlesungen zu knapp sind oder fehlen, wird aus einer Lernchance leicht Frustration; daher zielt die Sammlung auf einen hohen Detailgrad der Erklärungen, sodass man den Lösungsweg nachvollziehen kann
• Coding und Simulationen sind ebenfalls wichtig, doch die meisten Aufgaben sind so konzipiert, dass sie sich mit Stift und Papier lösen lassen; der Fokus liegt darauf, mathematisches Denken zu stärken
• Die Aufgaben kombinieren vor allem Materialien aus den Vorlesungen „Unsupervised Machine Learning“ der University of Helsinki und „Probabilistic Modelling and Reasoning“ der University of Edinburgh; der Umfang konzentriert sich auf unüberwachte Methoden, Inferenz und Lernen
• Michael Gutmann möchte, dass die Aufgabensammlung weiter wächst, und verweist auf den veröffentlichten LaTeX-Quellcode, Fehlermeldungen über GitHub Issues sowie direkte Kontaktaufnahme für größere Beiträge

---

Ein Buch, das Verständnis durch Übungsaufgaben vertieft

• Wie die Redewendung „use it or lose it“ ausdrückt, rosten Fähigkeiten ein, wenn man sie nicht übt; auch beim Erlernen neuer Fähigkeiten ist wiederholte Anwendung nötig
• Viele Lehrbücher und Vorlesungen bieten Übungsaufgaben an, doch wenn die Lösungen zu knapp sind oder fehlen, wird das Lösen von Aufgaben leicht zu einer Quelle von Frustration und wird übersprungen
• Dieses Buch ist eine Sammlung von Übungsaufgaben mit ausführlichen Lösungen
  • Ziel ist ein Detailgrad, bei dem Leserinnen und Leser den Lösungen folgen und die verwendeten Techniken verstehen können
  • Es ersetzt kein Lehrbuch und keine Vorlesung zum maschinellen Lernen
  • Es ist für Situationen gedacht, in denen man die relevante Theorie und die Konzepte bereits gesehen hat und das Verständnis anschließend durch Problemlösen festigen möchte

Aufbau mit Fokus auf Stift und Papier

• Im maschinellen Lernen sind Coding und Computersimulationen sehr wichtig
• Die Aufgaben in diesem Buch lassen sich jedoch größtenteils mit Stift und Papier lösen
  • Der Fokus auf Stift und Papier reduziert den Umfang und vereinfacht die Darstellung
  • Er hilft dabei, mathematische Fähigkeiten zu stärken
• Zusammen mit praktischen Computerübungen kann es das Verständnis der Konzepte weiter vertiefen

Behandelte Themen und Umfang

• Die Aufgaben sind hauptsächlich eine Kombination von Materialien, die in zwei Vorlesungen entwickelt wurden
  • „Unsupervised Machine Learning“ der University of Helsinki
  • „Probabilistic Modelling and Reasoning“ der University of Edinburgh
• Sie decken nicht das gesamte maschinelle Lernen ab
• Der Schwerpunkt liegt stark auf unüberwachten Methoden, Inferenz und Lernen
• Der bereitgestellte Text enthält als Beispiel aus Kapitel 1, Linear Algebra, eine Aufgabe zur Gram-Schmidt-Orthogonalisierung
  • Es wird per Skalarprodukt überprüft, dass die aus zwei Vektoren gebildeten u1 und u2 orthogonal zueinander sind
  • Wenn a2 ein Vielfaches von a1 ist, wird u2 im Orthogonalisierungsprozess zum Nullvektor
  • Es wird gezeigt, dass sich jede Linearkombination der linear unabhängigen a1, a2 wieder durch u1, u2 ausdrücken lässt

Erweiterung und Beitragsmöglichkeiten

• Die Aufgabensammlung soll im Laufe der Zeit durch neue Aufgaben wachsen
• Der LaTeX-Quellcode ist im GitHub-Repository veröffentlicht
• Fehler oder Tippfehler können über GitHub Issues gemeldet werden
• Wer größere Beiträge leisten möchte, wird auf direkte Kontaktaufnahme verwiesen

[GN⁺]

Hacker-News-Kommentare

• Sieht toll aus, aber das Frustrierendste beim Lernen von Machine Learning ist, dass man selbst bei sehr tiefem Eintauchen in die Theorie oft nicht erkennt, wie sie mit praktischen Entscheidungen zusammenhängt.
  Zum Beispiel würde ich gern wissen, wie die Theorie bei Entscheidungen hilft wie der Zahl der Neuronen in einer Schicht, der Zahl der Schichten, der Aktivierungsfunktion oder der Frage, ob man ein neuronales Netz oder eine andere Methode verwenden sollte.

  • Könnte hilfreich sein: https://github.com/google-research/tuning_playbook
  • Dass zu fast jedem Machine-Learning-Paper für Dinge wie die Zahl der Neuronen pro Schicht, die Zahl der Schichten oder Aktivierungsfunktionen umfangreiche Ablation Studies gehören, ist eher ein Zeichen dafür, dass das im Grunde niemand wirklich sicher weiß.
    Es ist ein Feld, in dem man einfach zufällig dies und das ausprobiert, herausfindet, was funktioniert, und sich gegenseitig Ideen abschaut, wodurch vage Leitlinien entstehen.
    Wenn man etwas Logisches und Erklärbares will, ist es fast das schlechteste Gebiet; meist geht es darum, Datensätze zu labeln, Rechenkosten zu bezahlen und zu hoffen, dass es klappt.
  • Das meiste lässt sich weder durch reine Theorie noch durch reine Praxis lernen, und das gilt auch für fast alles, was mit moderner Arbeit zu tun hat.
    Im Machine Learning kann man nicht alles aus der Theorie herleiten. Wenn das möglich wäre, wären wir von der Leistungsfähigkeit wirklich großer Large Language Models nicht so überrascht gewesen.
    Gleichzeitig wird es schwierig zu verstehen, warum etwas nicht funktioniert oder welche Optionen es gibt, wenn man die relevante Mathematik nicht nachvollziehen kann. Es hängen unzählige Faktoren zusammen: Architektur, Loss-Funktion, Aktivierungsfunktion, Optimierungsverfahren, Hyperparameter, Trainingszeit und Ressourcen usw.
  • Derzeit ist die Machine-Learning-Praxis der Theorie weit voraus. Selbst wenn die Theorie aufholt, wird die Antwort auf solche Fragen wahrscheinlich stark von der Natur des Prozesses abhängen, der die Daten erzeugt, und am Ende empirisch beantwortet werden müssen.
    Der Wert der Theorie liegt meiner Ansicht nach darin, einen allgemeinen begrifflichen Rahmen zu liefern. Ähnlich wie die asymptotische Theorie von Algorithmen heute nicht exakt sagt, welchen Algorithmus man verwenden soll, aber eine grobe Richtung vorgibt.
  • Aus Anfängersicht war die wichtigste Erkenntnis aus Andrew Ngs Coursera-Kurs, besonders im Teil über neuronale Netze, dass es normalerweise in Ordnung ist, mehr Neuronen und Schichten einzubauen als das „Minimum“.
    Mit vernünftiger Regularisierung ist das Risiko von Overfitting nicht groß, aber leider gibt es keine Regel für dieses Minimum, sodass Trial-and-Error nötig ist. Umgekehrt wird ein Netzwerk ineffizient und irgendwann langsam, wenn man es blind immer größer macht.
    Bei der Aktivierungsfunktion wird die Ausgabeschicht meist durch das zu lösende Problem bestimmt, und bei inneren Schichten beginnt man normalerweise mit ReLU und testet dann gängige Varianten anhand problembezogener Heuristiken.
    Natürlich sollte man auch andere Modelle, die bei ähnlichen Problemen erfolgreich waren, als Ausgangspunkt in Betracht ziehen.

• Wirklich sauber. Erinnert mich an Tom Yehs AI By Hand-Übungen: https://www.byhand.ai/

  • Genau auf so etwas hatte ich gehofft, vielen Dank. Das Paper im ursprünglichen Beitrag ist auch gut, aber es wirkt so, als würde es vor allem bei Leuten gut ankommen, die den Stoff schon kennen.
    Das Material selbst ist hervorragend für Menschen, die die Inhalte bereits kennen.

• Sieht ordentlich aus. Schade ist nur, dass die Lösungen direkt nach den Aufgaben stehen, sodass man kaum vermeiden kann, die Antwort auf die nächste Aufgabe zu lesen, bevor man selbst darüber nachgedacht hat.

• Wirklich gut. Ich arbeite im Machine Learning, habe aber bei den mathematischen Grundlagen, besonders bei linearer Algebra und Matrix-/Tensor-Operationen, immer noch Impostor-Syndrom.
  Ich wäre an weiteren Aufgabensammlungen interessiert, die sich auf Grundkompetenzen im Deep Learning konzentrieren. Am besten passt für mich, jeden Tag ein wenig selbst zu rechnen und aus den Perspektiven mehrerer Lehrender zu lernen.

• Wie viele der heutigen Praktiker, die „nützliches“ Machine Learning bauen, könnten wohl einen Teil dieser Aufgaben lösen? Und sollten sie es können?

  • Meiner Meinung nach nein. Sie müssen das nicht unbedingt können, und es ist auch nicht nötig.
    Solche Übungen sind nützlich für die mathematische Reife, die zu Intuition führt, wie man neue Algorithmen oder Low-Level-Optimierungen entwickelt.
    Für den üblichen Fall, bestehende Machine-Learning-Algorithmen zu trainieren, zu deployen und zu nutzen, braucht man das nicht.
  • Die gute Nachricht ist: Wenn man kein Interesse daran hat, aktuelle Methoden zu erweitern, sondern einfach nur API-Aufrufe machen will, muss man Machine Learning nicht tiefgehend lernen.
  • Das hängt davon ab, wie man „Machine-Learning-Praktiker“, „bauen“ und „Machine Learning“ definiert. Wenn man sich den Optimierungsabschnitt ansieht: Manche Leute verstehen das sehr gut und können im Kopf schnell mögliche Loss-Funktionen, Parameter-Updates und Stellen durchgehen, an denen etwas scheitern könnte.
  • Manche betrachten Lernen als lästige Pflicht und wollen nur das Minimum lernen, das nötig ist, um die Arbeit zu erledigen. Andere gewinnen aus dem Lernen Erkenntnisse und Freude und haben Spaß daran, Aufgaben zu lösen und Material zu lesen.
    Beide Ansätze können Beiträge leisten und zum Erfolg führen, aber sie unterscheiden sich.
  • Ich frage mich dasselbe. Ich habe mehrere Jahre als Machine-Learning-Engineer gearbeitet und auch ein paar Abschlüsse in diesem Bereich.
    Beim Überfliegen des Dokuments habe ich fast alles wiedererkannt, aber wenn man mich ohne Kontext fragen würde, würden mir viele Themen wohl nicht einfallen. Vielleicht konnte ich das früher einmal.
    Ich frage mich, in welchem Maß andere solche Inhalte im Kopf behalten. Ich weiß nicht, ob ich ein Hochstapler bin, der in Mathe von Natur aus schlecht war, oder ob es normal ist, dass man Dinge mit der Zeit vergisst, wenn man sie nicht regelmäßig benutzt.

• Schön, dass sogar die Lösungen enthalten sind. Ich hätte Interesse an mehr solchen Papier-und-Stift-Übungen zu anderen Themen.

  • Ich weiß nicht, welche anderen Themen gemeint sind, aber allein „1000 exercises in probability“ wird dich eine Weile beschäftigen. Das PDF findet man online.
    Für andere mathematisch orientierte Rätsel kann man sich „The colossal book of short puzzles and problems“ und „The art and craft of problem solving“ ansehen.

• Wurde früher schon einmal diskutiert: Pen and paper exercises in machine learning (2021) - https://news.ycombinator.com/item?id=31913057 - Juni 2022, 55 Kommentare

• Es ist witzig, wie Mathematiker immer versuchen, lineare Algebra und Matrixtheorie irgendwie in Machine Learning hineinzuschmuggeln. Wenn man es nicht besser wüsste, könnte man glauben, die akademische Welt habe Large Language Models erfunden und sei die Expertengruppe, die man konsultieren sollte.
  Eher haben Akademia und Theoretiker Machine Learning ausgebremst, weil sie rechnerische Methoden für zu minderwertig hielten und Generationen von Doktoranden gezwungen haben, symbolische Beweise wie in diesem Beispiel zu führen.

  • Wenn man mehr tun will, als bestehende Methoden zu verwenden, und tatsächlich zum Machine Learning beitragen möchte, ist mathematische Kompetenz der größte limitierende Faktor.
    Wer trägt denn bei, ohne in linearer Algebra sattelfest zu sein?
    Und warum wird das gesamte Feld auf Large Language Models reduziert?
  • Interessante Sichtweise. Kannst du Materialien empfehlen, die rechnerische Methoden gegenüber symbolischen Beweisen priorisieren?
  • Interessant. Könntest du ein Beispiel dafür teilen?

• Ist arXiv nicht für Papers auf Forschungsniveau gedacht? Ich bin überrascht, dass so ein Material dort hochgeladen wurde.