Ilya Sutskever: „Wenn Sie all das lernen, werden Sie 90 % des Wichtigen wissen“

Eine von Ilya Sutskever empfohlene Leseliste zu Machine Learning/KI

• The Annotated Transformer
• The First Law of Complexodynamics
• The Unreasonable Effectiveness of RNNs
• Understanding LSTM Networks
• Recurrent Neural Network Regularization
• Keeping Neural Networks Simple by Minimizing the Description Length of the Weights
• Pointer Networks
• ImageNet Classification with Deep CNNs
• Order Matters: Sequence to sequence for sets
• GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism
• Deep Residual Learning for Image Recognition
• Multi-Scale Context Aggregation by Dilated Convolutions
• Neural Quantum Chemistry
• Attention Is All You Need
• Neural Machine Translation by Jointly Learning to Align and Translate
• Identity Mappings in Deep Residual Networks
• A Simple NN Module for Relational Reasoning
• Variational Lossy Autoencoder
• Relational RNNs
• Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton
• Neural Turing Machines
• Deep Speech 2: End-to-End Speech Recognition in English and Mandarin
• Scaling Laws for Neural LMs
• A Tutorial Introduction to the Minimum Description Length Principle
• Machine Super Intelligence Dissertation
• Ab Seite 434: Kolmogorov-Komplexität
• CS231n Convolutional Neural Networks for Visual Recognition

Linksammlung: https://arc.net/folder/D0472A20-9C20-4D3F-B145-D2865C0A9FEE

[lemonmint]

Es scheint ein Problem mit dem Crawling durch den Neo-Bot zu geben.

[xguru]

Reddit blockiert es wohl. Ich habe es manuell eingefügt ;)

[GN⁺]

Hacker-News-Diskussion

Zusammenfassung der Hacker-News-Kommentare

• Die Überschrift verschleiert den Umfang dieser Aufgabe. Wenn man hineinklickt, um zu sehen, was das ist:

  • Eines ist ein kompletter Kurs über Convolutional Neural Networks Link
  • Eines ist ein 500-seitiges Lehrbuch Link
  • Ein weiteres ist ein 80-seitiges Lehrbuch Link
  • Wenn man diese Liste etwa ein Jahr lang in Vollzeit durcharbeitet, könnte es machbar sein. Je nach Prioritäten könnte es sich lohnen.

• Vor einiger Zeit habe ich die Liste auch unter Link gespiegelt, damit sie sich leichter mit wget herunterladen lässt (z. B. alle arXiv-PDFs)

  • Mit dem wget-Befehl kann man alle arXiv-PDFs herunterladen.
  • Ich habe sie zusammen mit einem Freund mit pdfunite zu einer einzigen PDF zusammengefügt und in einer Druckerei als Spiralbindung drucken lassen. Das Ergebnis war sehr gut.

• Man sollte im Hinterkopf behalten, dass es keine Bestätigung gibt, dass dies die tatsächliche Liste ist.

  • Es ist nicht bestätigt, dass dies die echte Liste ist.
  • Angeblich ist dies die Liste, die Ilya vor einem Jahr John Carmack gegeben hat.

• Wie lange dauert es, die Voraussetzungen dafür zu lernen, wenn man noch keinen CS-Hintergrund hat?

  • Als ich die Liste gelesen habe, war es schwierig, überhaupt die Hälfte der Titel zu verstehen.
  • Ich frage mich, ob man sie verstehen kann, wenn man einfach mit dieser Liste anfängt, oder ob man woanders beginnen sollte.

• Was viele vergessen: Ohne ein ordentliches, greifbares Ziel wird man sich, egal wie viele grundlegende oder interessante Papers man liest, am Ende trotzdem an nichts erinnern.

  • Ohne ein klares und konkretes Ziel bleibt einem selbst nach dem Lesen vieler Papers nichts im Gedächtnis.

• Es gibt einige frühere Diskussionen dazu, die bis auf Oktober 2022 zurückgehen. Ich frage mich, wie veraltet die Liste inzwischen ist.

  • Es gab seit Oktober 2022 einige Diskussionen dazu.

• Das ist doch nur der Bookmark-Ordner von irgendjemandem. Wo ist der Beweis, dass diese Dinge von Ilya empfohlen wurden?

  • Es gibt keinen Beleg dafür, dass diese Liste von Ilya empfohlen wurde. Sie könnte einfach nur der Bookmark-Ordner von irgendjemandem sein.

• Die Behauptung, das seien 90 % von dem, was im Machine Learning wichtig ist, wirkt etwas gewagt.

  • Die Aussage, diese Liste decke 90 % des Wichtigen im Machine Learning ab, ist gewagt. Wichtige Themen wie Reinforcement Learning oder Graph Neural Networks fehlen.

• Darauf steht überhaupt nichts zu LLMs, dabei passiert gerade bei In-Context Learning, Retrieval Augmentation, Tool Use und Multimodalität besonders viel.

  • Auf der Liste steht nichts über Large Language Models (LLMs). Wichtige Themen wie In-Context Learning, Retrieval Augmentation, Tool Use und Multimodalität fehlen.

• 30 Studien zu lesen bedeutet nicht, dass man sie auch „gelernt und verstanden“ hat. Vor allem nicht, wenn man bei null anfängt.

  • 30 Papers zu lesen bedeutet nicht, dass man sie auch „gelernt und verstanden“ hat. Das gilt umso mehr, wenn man ganz von vorne anfängt.