Einführung in Statistical Learning mit Python
(statlearning.com)- In einer Situation, in der Umfang und Reichweite der Datenerhebung zunehmen, behandelt An Introduction to Statistical Learning Statistical Learning als praktisches Einstiegswerkzeug zum Verständnis von Daten
- Der Fokus liegt eher auf breiten und weniger technischen Erklärungen als auf komplexer Mathematik und richtet sich an Leser, die moderne Werkzeuge der Datenanalyse erlernen möchten
- Die R-Ausgabe erschien als 1. Auflage 2013 und 2. Auflage 2021, die Python edition (ISLP) wurde 2023 veröffentlicht
- Jede Ausgabe verknüpft die Konzepte des jeweiligen Kapitels über Praxis-Labs am Kapitelende mit R- oder Python-Code
- Es werden Links zum PDF-Download und zum Kauf bereitgestellt, sodass Einsteiger je nach Bedarf zwischen der R-1.-Auflage, der R-2.-Auflage und der Python-Ausgabe wählen können
Schwerpunkt des Einstiegswerks zu Statistical Learning
- An Introduction to Statistical Learning geht davon aus, dass Umfang und Bandbreite der Datenerhebung in nahezu allen Bereichen weiter wachsen
- Statistical Learning wird als Werkzeugsammlung für Menschen behandelt, die Daten verstehen wollen
- Die Kernthemen werden breit abgedeckt, während die technische Schwierigkeit niedrig gehalten wird, sodass der Zugang für Leser erleichtert wird, die moderne Werkzeuge der Datenanalyse nutzen möchten
Ausgaben, Praxis-Labs und Materialien
- Die Ausgaben sind in R- und Python-zentrierte Versionen unterteilt
- ISLR 1. Auflage ist die R-Ausgabe und erschien 2013
- ISLR 2. Auflage erschien 2021
- ISLP ist die Python-Ausgabe und erschien 2023
- ISLR wurde ins Chinesische, Italienische, Japanische, Koreanische, Mongolische, Russische und Vietnamesische übersetzt
- Am Ende jedes Kapitels gibt es Labs, die die Konzepte des Kapitels in R oder Python zeigen
- Die im Buch behandelten Themen sind folgende
- Was ist Statistical Learning?
- Regression
- Klassifikation
- Resampling-Methoden
- Auswahl linearer Modelle und Regularisierung
- Methoden jenseits der Linearität
- Baum-basierte Methoden
- Support Vector Machines
- Deep Learning
- Survival-Analyse
- Unüberwachtes Lernen
- Multiple Tests
- PDF-Materialien sind über folgende Links verfügbar
1 Kommentare
Meinungen auf Hacker News
Etwas am Thema vorbei, aber das Verhältnis von Upvotes zu Kommentaren ist interessant.
Beiträge zu ChatGPT haben normalerweise Hunderte Kommentare, aber hier sind es bisher nur 7 Kommentare bei 100 Upvotes.
Das Buch sieht gut aus, und wenn man sich die Autoren ansieht, ist es mit ziemlicher Sicherheit gut, daher werde ich es wohl kaufen. Aber dieses Verhältnis scheint den aktuellen Stand von „ML/AI/Data Science“ zu zeigen. Ich habe den zynischen Eindruck, dass viele Leute, die sich für den AI-Hype interessieren, sich kaum mit den Grundlagenkonzepten beschäftigt haben und die Mathematik/Statistik dahinter nicht wirklich tief verstehen.
Nebenbei: Auch ich habe zu diesem Link-Thema keinen inhaltlich wertvollen Kommentar beigesteuert.
https://github.com/melling/ISLR
Es gibt auch einen edX-Kurs der Autoren: https://www.edx.org/course/statistical-learning
Solche Bücher sind zentral, um mit Machine Learning/AI anzufangen, und dieses Buch ist besonders gut. Ich selbst habe mit diesem Buch mit Machine Learning begonnen.
Bei AI gibt es eine enorme Überhitzung, und ich glaube, es wird wie bei der Dotcom-Blase laufen. Anders als Crypto hat AI bereits echte Anwendungsfälle, und das gilt sogar ohne LLM-Produkte. Es gibt aber auch viel Übertreibung und von Hoffnung getriebene Erwartungen, sodass viele Menschen Schaden nehmen werden, wenn die Blase platzt. Trotzdem wird es kurzfristig weiter Leute geben, die damit echtes Geld verdienen, und die Hype-Treiber, die ich kenne, verstehen das sehr gut.
Trotzdem wird AI bleiben, und auch nach dem Platzen der Blase wird es überall um uns herum echte AI-Nutzung geben.
Ich verstehe das Gefühl, aber für viele Machine-Learning-Anwendungsfälle ist ein Aufruf der ChatGPT API oft ein 100-mal besserer Ansatz, als selbst ein Modell zu bauen, und deshalb muss man die Mathematik womöglich wirklich nicht verstehen.
Ich baue zum Beispiel eine AI-App zur Nährwertberechnung und nutze ChatGPT Function Calling. Wenn ich ein Feld wie ein Food-Emoji hinzufüge, wird jedes Essen automatisch dem passenden Emoji zugeordnet. Für so etwas muss man Gradientenabstieg oder grundlegende Eigenschaften überhaupt nicht kennen.
Das läuft schon seit ein paar Jahren so und wirkt sich in den meisten Arbeitsumgebungen negativ aus. Ich beneide die Data Scientists in der Praxis nicht, die Erwartungen managen müssen.
Auf HN gibt es fast nur Hype und wenig Wissenschaft. Die Überzeugungen sind stark, die Belege schwach. Papers werden gern zitiert, aber oft wird nur das Abstract gelesen und die wesentlichen Nuancen gehen verloren. Das gilt besonders in einem Feld, in dem das Aufzeigen von Grenzen ein hohes Ablehnungsrisiko mit sich bringt; Reviewer kopieren diesen Teil dann manchmal einfach hinein und schließen mit einem knappen Dank ab.
Die Wissenschaft ist etwas besser, aber insgesamt gibt es auch viele Forschende mit schwachen mathematischen Grundlagen. Selbst an Top-Universitäten oder in Spitzenlaboren kenne ich oder habe ich Leute getroffen, die den Unterschied zwischen Likelihood und Wahrscheinlichkeit nicht kennen. Manche verstehen Wahrscheinlichkeitsdichten nicht, sogar unter Leuten, die an Diffusionsmodellen arbeiten. Allerdings verfügen die sichtbarsten Forschenden im Allgemeinen über diese Fähigkeiten. Dafür veröffentlichen sie ihre Papers nicht so schnell, und ihre Arbeit bekommt möglicherweise weniger Aufmerksamkeit.
Ein großer Teil der aktuellen Forschung konzentriert sich auf Parametertuning und den Einsatz von Rechenressourcen. Ich erkenne an, dass Tuning nötig ist, aber man sollte ehrlich sein: Das ist keine große Innovation, und es ist schwer zu beweisen, dass etwas besser ist, wenn andere Modelle/Architekturen nicht im gleichen Maß getunt wurden. Ich habe mich dazu schon öfter geäußert, weil dieser Trend zu einer Barriere für andere Arten von Forschung wird.
Kurz gesagt: ziemlich treffend. In Machine Learning/AI gibt es enorm viel Rauschen, besonders auf HN.
Zusätzlich empfehle ich Richard McElreaths Statistical Rethinking(https://xcelab.net/rm/statistical-rethinking/). Es liest sich unterhaltsamer als ISLR und führt auch in bayessche Statistik ein (die Vorlesungen gibt es auch auf YouTube). Ebenfalls empfehlenswert ist Gelmans Regression and Other Stories(https://avehtari.github.io/ROS-Examples/).
Dieses Buch ist eine aktualisierte Fassung eines ursprünglich in R verfassten, sehr beliebten Lehrbuchs. Die Professoren Hastie und Tibshirani sind führende Lehrende im Bereich Statistical Learning.
Auf Stanford Online gibt es auch Videovorlesungen, die diesen Notizen folgen. Sehr empfehlenswert, wenn man die theoretischen Aspekte des klassischen Machine Learning lernen möchte.
Das komplette Buch kann man hier legal herunterladen [pdf]: https://hastie.su.domains/ISLP/ISLP_website.pdf
ISL ist das beste einführende Lehrbuch zu klassischen Machine-Learning-Methoden. Es ist theorieorientiert, aber für eine breite Gruppe von Studierenden mit Grundkenntnissen in Statistik, linearer Algebra und Programmierung gut zugänglich.
Dass die Beispiele nur in R vorlagen, war unpraktisch, wenn man mit Python unterrichtete. Es wäre schön, wenn sie daraus jetzt eine Reihe von Jupyter Notebooks machen und sie über Colab oder Ähnliches bereitstellen würden.
Manche würden es „klassisches“ Machine Learning nennen, aber für mich sind solche Methoden mit wenigen Parametern in vielen Fällen sehr nützlich und viel leichter zu interpretieren als RNNs.
Ich wollte die beiden Versionen von Lab Zero vergleichen.
Die Python-Übung habe ich nur ein paar Minuten überflogen, aber sie wirkte deutlich komplexer und länger als die R-Übung, an die ich mich erinnere.
Ich weiß, dass auf HN oft darüber geklagt wird, R sei schwierig und verwirrend, aber für Anfänger oder eher statistisch geprägte Leute halte ich R für die einfachere Sprache, um mit statistischer Arbeit zu beginnen.
Wenn man sich ansieht, für welche Zielgruppen die jeweiligen Sprachen gedacht waren, ist das nicht überraschend. Ich denke, man sollte beides akzeptieren und jeweils das verwenden, was besser zur konkreten Aufgabe passt.
Persönlich bevorzuge ich Bishop, Pattern Recognition and Machine Learning, oder Murphy, Probabilistic Machine Learning: An Introduction.
Deshalb scheint mir die Übersetzung von ISLA so bedeutsam. Für Studierende, die Machine Learning/statistische Modellierung ausreichend gelernt haben, sollte es ziemlich einfach sein, ein mathematisches Modell in ein Rechenmodell zu überführen; Code ist daher nicht zwingend nötig. Eigentlich kann man nur dann sagen, dass man diese Modelle versteht, wenn man genau das kann.
Ergänzen würde ich außerdem Elements of Statistical Learning von den Autoren von ISL(R/P). ISL, ESL und Bishop habe ich gelesen; Murphy habe ich angefangen, aber nicht beendet. Kein besonderer Grund, ich wurde einfach beschäftigt und habe es liegen lassen. Ich kann jedes dieser Lehrbücher sehr empfehlen.
Ich frage mich, ob Bishop auch in so einem Fall empfehlenswert ist oder ob es zu theoretisch ist.
Ebenfalls einen Blick wert ist Sidney Siegel, N. John Castellan, Jr., Nonparametric Statistics for the Behavioral Sciences, Second Edition, ISBN 0-07-057357-3, McGraw-Hill, New York, 1988.
„Nichtparametrisch“ bedeutet, dass keine Annahmen über parameterbasierte Wahrscheinlichkeitsverteilungen gemacht werden. Man könnte also sagen: verteilungsfrei.
Ein Beispiel sind Resampling-Pläne. Die Annahmen sind sehr gering, wirklich einfach, ziemlich clever, insgesamt nützlich und besonders gut für Berechnungen geeignet. Mit Resampling kann man auch mehr Informationen aus „A-B“-Testdaten gewinnen.
Wenn man die Abgrenzung erzwingen wollte, könnte man sagen, dass ISLR stärker auf Vorhersage als auf Inferenz oder Hypothesentests fokussiert ist.
Die YouTube-Serie zur früheren Version dieses Buches hat mir wirklich gut gefallen: https://www.youtube.com/watch?v=5N9V07EIfIg&list=PLOg0ngHtcq...
Man kann sie auch ohne Buch ansehen, und die Coding-Teile kann man überspringen. Es gibt Einsichten, die nicht im Buch stehen, und die Mischung aus enormer fachlicher Kompetenz und der Fähigkeit, Konzepte verdichtet zu erklären, ist großartig.
Für mich ist es etwas weitschweifig. Wenn Landau noch leben und so ein Buch neu schreiben würde, wäre es wohl deutlich kürzer. Ob man das mit einem LLM hinbekommt?