30 Papers – Zusammenfassung der von Ilya Sutskever empfohlenen zentralen KI-Paper

baeba · 2026-07-08T09:33:20+09:00

Eine Website, die zentrale Machine-Learning-Paper auf Basis der Liste zentraler KI-Paper zusammenstellt, die Ilya Sutskever Berichten zufolge John Carmack empfohlen hat – so aufbereitet, dass Einsteiger ihr gut folgen können Die Liste folgt den wichtigsten Entwicklungslinien moderner KI, darunter Deep Learning, Computer Vision, sequenzielle Modellierung, Attention, Transformer, Graph Neural Networks, Scaling Laws, Informationstheorie und Komplexitätstheorie Sie listet nicht nur Paper auf, sondern bündelt auch Vorlesungsnotizen, erklärende Artikel und codebasierte Erläuterungen, um die Einstiegshürde in die Original-Paper zu senken Leser, die moderne große Sprachmodelle und Deep-Learning-Systeme verstehen wollen, können an einem Ort die Ausgangspunkte von Architekturen, Trainingsmethoden und Komplexitätstheorie überblicken Ursprünglich als Liste von 30 Paper bekannt, sind auf der aktuellen Website nur 27 Einträge aufbereitet Einleitung Eine kuratierte Liste zentraler Ressourcen zur Entwicklung der KI Diese Website ist ein Projekt, das Paper und Lernmaterialien sammelt, die wichtige Wendepunkte in der KI-Forschung geprägt haben. Die Liste basiert auf dem Gerücht, Ilya Sutskever habe sie John Carmack empfohlen. Der Autor der Website erklärt, derzeit nur 27 der insgesamt 30 Paper zusammengetragen zu haben. Jeder Eintrag enthält den Titel des Papers, eine Zusammenfassung der Kerninhalte und Informationen zu den wichtigsten Beitragenden. Ziel der Sammlung ist es, die Ideen, die die Grundlage moderner KI-Technologien bilden, auf einen Blick erfassbar zu machen. Hauptteil Entwicklung von Computer Vision und Convolutional Neural Networks CS231n: Convolutional Neural Networks for Visual Recognition Lehrmaterial, das Convolutional Neural Networks von Grund auf erklärt. Behandelt schrittweise alles von linearen Klassifikatoren bis zu tiefen Modellen für Bilderkennung. Dient als Einstiegsmaterial zum Lernen von CNNs im Bereich Computer Vision. ImageNet Classification with Deep Convolutional Neural Networks Das AlexNet-Paper, das den ImageNet-Wettbewerb mit großem Leistungsvorsprung gewann. Belegte die Wirksamkeit tiefer Convolutional Neural Networks für großskalige Bildklassifikation. Gilt als repräsentatives Paper, das die Ära des modernen Deep Learning angestoßen hat. Deep Residual Learning for Image Recognition Das ResNet-Paper, das Residual Connections einführte. Das Netzwerk wurde so entworfen, dass es nicht die gesamte Transformation lernt, sondern die Veränderung relativ zur Eingabe. Ermöglichte das Training sehr tiefer neuronaler Netze mit Hunderten von Schichten. Identity Mappings in Deep Residual Networks Eine Anschlussarbeit zu ResNet, die analysierte, warum Identity Shortcuts wirksam sind. Schlug den Pre-Activation Residual Block vor und verbesserte damit die Struktur von Residual Networks. Trug zu stabilerer Optimierung und höherer Leistung tiefer Netzwerke bei. Multi-Scale Context Aggregation by Dilated Convolutions Stellte eine Methode vor, mit der sich durch Dilated Convolutions das receptive field ohne Auflösungsverlust erweitern lässt. Ermöglichte, Kontextinformationen bei Dense-Prediction-Aufgaben wie Bildsegmentierung breiter zu nutzen. Trug dazu bei, feine räumliche Informationen zu erhalten und zugleich Merkmale über größere Bereiche einzubeziehen. Sequenzmodelle und die Lösung des Problems langfristiger Abhängigkeiten The Unreasonable Effectiveness of Recurrent Neural Networks Ein praxisorientierter Blogartikel, der Texterzeugung mit zeichenbasierten RNNs erprobt. Zeigt anhand von Beispielen, dass RNNs Strukturen und Muster in Daten zu einem erheblichen Teil erfassen können. Erklärt intuitiv das Potenzial der Modellierung sequenzieller Daten. Understanding LSTM Networks Material, das die Gate-Struktur und den Informationsfluss von LSTMs visuell erklärt. Fokussiert darauf, das Prinzip zu verstehen, wie Informationen in langen Sequenzen erhalten bleiben. Weit verbreitetes Einstiegsmaterial für Personen, die LSTMs erstmals lernen. Recurrent Neural Network Regularization Stellt eine geeignete Methode vor, Dropout auf LSTMs anzuwenden. Erklärt, dass Dropout auf non-recurrent Connections statt auf recurrent Connections angewendet werden sollte. Trug dazu bei, Overfitting in großen recurrent Neural Networks zu reduzieren. Order Matters: Sequence to Sequence for Sets Analysierte, wie sich die Reihenfolge von Eingaben und Ausgaben in Sequence-to-Sequence-Modellen auf die Leistung auswirkt. Behandelt Probleme, die entstehen, wenn Daten, die ihrem Wesen nach Mengen sind, mit Sequenzmodellen verarbeitet werden. Liefert eine Diskussion darüber, wie sich ungeordnete Datenstrukturen modellieren lassen. Struktureller Wandel hin zu Attention und Transformern Neural Machine Translation by Jointly Learning to Align and Translate Ein zentrales Paper, das den Attention-Mechanismus in die maschinelle Übersetzung einführte. Ermöglichte dem Modell, nicht von einem einzelnen festen Zusammenfassungsvektor abhängig zu sein, sondern relevante Wörter des Ausgangstextes direkt zu referenzieren. Wurde zu einer wichtigen Grundlage für spätere Strukturveränderungen in Modellen der natürlichen Sprachverarbeitung. Pointer Networks Ein Sequence-Modell, dessen Ausgabe auf bestimmte Positionen in der Eingabe zeigt. Geeignet für Probleme, bei denen die Lösung als Auswahl oder Sortierung von Eingabeelementen ausgedrückt wird. Stellte eine Modellstruktur vor, die für kombinatorische Optimierung und strukturierte Vorhersageprobleme nutzbar ist. Attention Is All You Need Das Paper, das die Transformer-Architektur vorschlug. Entfernte Recurrence und verarbeitete sequenzielle Daten ausschließlich mit Self-Attention. Wurde zur zentralen strukturellen Grundlage moderner großer Sprachmodelle. The Annotated Transformer Material, das das Transformer-Paper Zeile für Zeile zusammen mit ausführbarem Code erklärt. Hilft, die Struktur des Original-Papers aus Sicht der praktischen Implementierung zu verstehen. Dient als Lernmaterial, das die Lücke zwischen Forschungspaper und praktischer Umsetzung verringert. Memory, relationales Schließen und Lernen auf Graphstrukturen Neural Turing Machines Ein Modell, das neuronale Netze mit externem Memory kombiniert, auf das gelesen und geschrieben werden kann. Steuert den Memory über differenzierbare Attention. Zeigte die Möglichkeit auf, einfache Algorithmen aus Beispieldaten zu lernen. A Simple Neural Network Module for Relational Reasoning Das Paper, das Relation Networks vorschlug. Fügt neuronalen Netzen ein Modul hinzu, das Beziehungen zwischen Objektpaaren erschließen kann. Stellte eine Struktur vor, die für visuelles Schließen und relationale Problemlösung nützlich ist. Relational Recurrent Neural Networks Kombinierte recurrent Networks mit Self-Attention-basiertem Memory. Wurde so entworfen, dass gespeicherte Memory-Einträge miteinander interagieren können. Zielt auf Leistungsverbesserungen bei Aufgaben, die relationales Schließen über die Zeit erfordern. Neural Message Passing for Quantum Chemistry Erklärte Graph Neural Networks einheitlich als Message-Passing-Framework. Wandte graphbasiertes Lernen auf die Vorhersage von Eigenschaften molekularer Strukturen an. Kann als Paper gesehen werden, das die strukturelle Grundlage der Forschung zu Graph Neural Networks ordnet. Training großer Modelle und Scaling Laws Scaling Laws for Neural Language Models Maß, dass der Loss von Sprachmodellen abhängig von Modellgröße, Datenmenge und Rechenaufwand in einer regelmäßigen Power-Law-Form sinkt. Lieferte eine empirische Grundlage für den Aufbau großer Modelle. Wurde später zu einem wichtigen Maßstab für Entwicklungsstrategien großer Sprachmodelle. GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism Stellte Pipeline Parallelism als Methode vor, um riesige neuronale Netze verteilt auf mehrere Geräte zu trainieren. Machte das Training großskaliger Modelle praktikabel, indem Aufgaben effizient zwischen Geräten verteilt wurden. Bot eine infrastrukturseitige Lösung, die für die Erweiterung der Modellgröße nötig ist. Deep Speech 2: End-to-End Speech Recognition in English and Mandarin Ein System, das Spracherkennung für Englisch und Chinesisch end-to-end verarbeitet. Nutzte Connectionist Temporal Classification, um Sprachsequenzen zu lernen. Zeigte das Potenzial skalierbarer Spracherkennungsmodelle auch in unterschiedlichen Sprachumgebungen. Lernen aus Sicht von Informationstheorie, Kompression und Komplexität verstehen Keeping Neural Networks Simple by Minimizing the Description Length of the Weights Eine frühe Arbeit, die die Generalisierung neuronaler Netze mit der Beschreibungslänge ihrer Gewichte verknüpfte. Vertrat die Perspektive, dass gute Modelle Gewichte besitzen, die mit wenigen Bits beschrieben werden können. Erklärt die Beziehung zwischen Kompression und Generalisierung informationstheoretisch. A Tutorial Introduction to the Minimum Description Length Principle Tutorial-Material, das das Minimum Description Length Principle einführt. Interpretiert Lernen als Prozess, ein Modell zu finden, das die Daten am kürzesten beschreibt. Liefert grundlegende Konzepte, die für Modellwahl und ein Verständnis kompressionsbasierten Lernens nötig sind. Kolmogorov Complexity Eine Theorie über die Länge des kürzesten Programms, das einen String erzeugt. Liefert die formale Grundlage für Description Length und algorithmic randomness. Steht in Verbindung mit Diskussionen über Kompression, Generalisierung und Komplexität von KI-Modellen. The First Law of Complexodynamics Ein Text, der ein Gesetz untersucht, das erklärt, warum Komplexität in geschlossenen Systemen zunächst steigt und dann sinkt. Setzt Komplexität nicht einfach mit Entropie gleich, sondern behandelt sie als eigene dynamische Eigenschaft. Wirft konzeptionelle Fragen zur zeitlichen Veränderung komplexer Systeme auf. Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton Eine Studie, die den Vorgang des Vermischens von Kaffee und Sahne mit zellulären Automaten modelliert. Analysiert das Phänomen, dass Komplexität zunimmt und anschließend abnimmt, während ein System in den Gleichgewichtszustand übergeht. Zeigt einen Versuch, zeitliche Veränderungen von Komplexität zu quantifizieren. Generative Modelle und Konzepte universeller Intelligenz Variational Lossy Autoencoder Ein Modell, das Variational Autoencoder mit einem autoregressive Decoder kombiniert. Stellt eine Methode vor, um zu steuern, welche Informationen der Latent Code bewahren soll. Behandelt das Gleichgewicht zwischen Repräsentationslernen und Informationserhalt in generativen Modellen. Machine Super Intelligence Eine Dissertation, die eine universelle Messmethode für Maschinenintelligenz vorschlägt. Untersucht theoretisch die Eigenschaften und Konsequenzen sehr leistungsfähiger Agenten. Kann als eine der formalen Grundlagen der Diskussionen über Artificial General Intelligence und Superintelligenz gesehen werden. Fazit Eine kompakte Referenzliste zu den zentralen Entwicklungspfaden moderner KI Diese Liste ordnet die wichtigsten Konzepte, die die Entwicklung moderner KI vorangetrieben haben, nach technischen Strömungen. Sie zeigt den strukturellen Wandel von frühen Computer-Vision-Modellen über RNN, LSTM, Attention und Transformer bis hin zu Scaling Laws. Sie deckt ein breites Spektrum ab, darunter Optimierung neuronaler Netze, großskaliges Training, Lernen auf Graphstrukturen, Informationstheorie und Komplexitätstheorie. Es ist keine Paper-Liste zu einem einzelnen Fachgebiet, sondern eher ein mehrschichtiger Lernpfad zum Verständnis moderner KI. Für KI-Forschende und Entwickler kann sie als Grundlagenmaterial dienen, um historischen Kontext, Kernprinzipien und Forschungsrichtungen der Technologie gemeinsam zu erfassen.

(30papers.com)

21 Punkte von baeba 4 시간 전 | 2 Kommentare | Auf WhatsApp teilen

Eine Website, die zentrale Machine-Learning-Paper auf Basis der Liste zentraler KI-Paper zusammenstellt, die Ilya Sutskever Berichten zufolge John Carmack empfohlen hat – so aufbereitet, dass Einsteiger ihr gut folgen können
Die Liste folgt den wichtigsten Entwicklungslinien moderner KI, darunter Deep Learning, Computer Vision, sequenzielle Modellierung, Attention, Transformer, Graph Neural Networks, Scaling Laws, Informationstheorie und Komplexitätstheorie
Sie listet nicht nur Paper auf, sondern bündelt auch Vorlesungsnotizen, erklärende Artikel und codebasierte Erläuterungen, um die Einstiegshürde in die Original-Paper zu senken
Leser, die moderne große Sprachmodelle und Deep-Learning-Systeme verstehen wollen, können an einem Ort die Ausgangspunkte von Architekturen, Trainingsmethoden und Komplexitätstheorie überblicken
Ursprünglich als Liste von 30 Paper bekannt, sind auf der aktuellen Website nur 27 Einträge aufbereitet

Einleitung

Eine kuratierte Liste zentraler Ressourcen zur Entwicklung der KI

Diese Website ist ein Projekt, das Paper und Lernmaterialien sammelt, die wichtige Wendepunkte in der KI-Forschung geprägt haben.
Die Liste basiert auf dem Gerücht, Ilya Sutskever habe sie John Carmack empfohlen.
Der Autor der Website erklärt, derzeit nur 27 der insgesamt 30 Paper zusammengetragen zu haben.
Jeder Eintrag enthält den Titel des Papers, eine Zusammenfassung der Kerninhalte und Informationen zu den wichtigsten Beitragenden.
Ziel der Sammlung ist es, die Ideen, die die Grundlage moderner KI-Technologien bilden, auf einen Blick erfassbar zu machen.

Hauptteil

Entwicklung von Computer Vision und Convolutional Neural Networks

CS231n: Convolutional Neural Networks for Visual Recognition
- Lehrmaterial, das Convolutional Neural Networks von Grund auf erklärt.
- Behandelt schrittweise alles von linearen Klassifikatoren bis zu tiefen Modellen für Bilderkennung.
- Dient als Einstiegsmaterial zum Lernen von CNNs im Bereich Computer Vision.
ImageNet Classification with Deep Convolutional Neural Networks
- Das AlexNet-Paper, das den ImageNet-Wettbewerb mit großem Leistungsvorsprung gewann.
- Belegte die Wirksamkeit tiefer Convolutional Neural Networks für großskalige Bildklassifikation.
- Gilt als repräsentatives Paper, das die Ära des modernen Deep Learning angestoßen hat.
Deep Residual Learning for Image Recognition
- Das ResNet-Paper, das Residual Connections einführte.
- Das Netzwerk wurde so entworfen, dass es nicht die gesamte Transformation lernt, sondern die Veränderung relativ zur Eingabe.
- Ermöglichte das Training sehr tiefer neuronaler Netze mit Hunderten von Schichten.
Identity Mappings in Deep Residual Networks
- Eine Anschlussarbeit zu ResNet, die analysierte, warum Identity Shortcuts wirksam sind.
- Schlug den Pre-Activation Residual Block vor und verbesserte damit die Struktur von Residual Networks.
- Trug zu stabilerer Optimierung und höherer Leistung tiefer Netzwerke bei.
Multi-Scale Context Aggregation by Dilated Convolutions
- Stellte eine Methode vor, mit der sich durch Dilated Convolutions das receptive field ohne Auflösungsverlust erweitern lässt.
- Ermöglichte, Kontextinformationen bei Dense-Prediction-Aufgaben wie Bildsegmentierung breiter zu nutzen.
- Trug dazu bei, feine räumliche Informationen zu erhalten und zugleich Merkmale über größere Bereiche einzubeziehen.

Sequenzmodelle und die Lösung des Problems langfristiger Abhängigkeiten

The Unreasonable Effectiveness of Recurrent Neural Networks
- Ein praxisorientierter Blogartikel, der Texterzeugung mit zeichenbasierten RNNs erprobt.
- Zeigt anhand von Beispielen, dass RNNs Strukturen und Muster in Daten zu einem erheblichen Teil erfassen können.
- Erklärt intuitiv das Potenzial der Modellierung sequenzieller Daten.
Understanding LSTM Networks
- Material, das die Gate-Struktur und den Informationsfluss von LSTMs visuell erklärt.
- Fokussiert darauf, das Prinzip zu verstehen, wie Informationen in langen Sequenzen erhalten bleiben.
- Weit verbreitetes Einstiegsmaterial für Personen, die LSTMs erstmals lernen.
Recurrent Neural Network Regularization
- Stellt eine geeignete Methode vor, Dropout auf LSTMs anzuwenden.
- Erklärt, dass Dropout auf non-recurrent Connections statt auf recurrent Connections angewendet werden sollte.
- Trug dazu bei, Overfitting in großen recurrent Neural Networks zu reduzieren.
Order Matters: Sequence to Sequence for Sets
- Analysierte, wie sich die Reihenfolge von Eingaben und Ausgaben in Sequence-to-Sequence-Modellen auf die Leistung auswirkt.
- Behandelt Probleme, die entstehen, wenn Daten, die ihrem Wesen nach Mengen sind, mit Sequenzmodellen verarbeitet werden.
- Liefert eine Diskussion darüber, wie sich ungeordnete Datenstrukturen modellieren lassen.

Struktureller Wandel hin zu Attention und Transformern

Neural Machine Translation by Jointly Learning to Align and Translate
- Ein zentrales Paper, das den Attention-Mechanismus in die maschinelle Übersetzung einführte.
- Ermöglichte dem Modell, nicht von einem einzelnen festen Zusammenfassungsvektor abhängig zu sein, sondern relevante Wörter des Ausgangstextes direkt zu referenzieren.
- Wurde zu einer wichtigen Grundlage für spätere Strukturveränderungen in Modellen der natürlichen Sprachverarbeitung.
Pointer Networks
- Ein Sequence-Modell, dessen Ausgabe auf bestimmte Positionen in der Eingabe zeigt.
- Geeignet für Probleme, bei denen die Lösung als Auswahl oder Sortierung von Eingabeelementen ausgedrückt wird.
- Stellte eine Modellstruktur vor, die für kombinatorische Optimierung und strukturierte Vorhersageprobleme nutzbar ist.
Attention Is All You Need
- Das Paper, das die Transformer-Architektur vorschlug.
- Entfernte Recurrence und verarbeitete sequenzielle Daten ausschließlich mit Self-Attention.
- Wurde zur zentralen strukturellen Grundlage moderner großer Sprachmodelle.
The Annotated Transformer
- Material, das das Transformer-Paper Zeile für Zeile zusammen mit ausführbarem Code erklärt.
- Hilft, die Struktur des Original-Papers aus Sicht der praktischen Implementierung zu verstehen.
- Dient als Lernmaterial, das die Lücke zwischen Forschungspaper und praktischer Umsetzung verringert.

Memory, relationales Schließen und Lernen auf Graphstrukturen

Neural Turing Machines
- Ein Modell, das neuronale Netze mit externem Memory kombiniert, auf das gelesen und geschrieben werden kann.
- Steuert den Memory über differenzierbare Attention.
- Zeigte die Möglichkeit auf, einfache Algorithmen aus Beispieldaten zu lernen.
A Simple Neural Network Module for Relational Reasoning
- Das Paper, das Relation Networks vorschlug.
- Fügt neuronalen Netzen ein Modul hinzu, das Beziehungen zwischen Objektpaaren erschließen kann.
- Stellte eine Struktur vor, die für visuelles Schließen und relationale Problemlösung nützlich ist.
Relational Recurrent Neural Networks
- Kombinierte recurrent Networks mit Self-Attention-basiertem Memory.
- Wurde so entworfen, dass gespeicherte Memory-Einträge miteinander interagieren können.
- Zielt auf Leistungsverbesserungen bei Aufgaben, die relationales Schließen über die Zeit erfordern.
Neural Message Passing for Quantum Chemistry
- Erklärte Graph Neural Networks einheitlich als Message-Passing-Framework.
- Wandte graphbasiertes Lernen auf die Vorhersage von Eigenschaften molekularer Strukturen an.
- Kann als Paper gesehen werden, das die strukturelle Grundlage der Forschung zu Graph Neural Networks ordnet.

Training großer Modelle und Scaling Laws

Scaling Laws for Neural Language Models
- Maß, dass der Loss von Sprachmodellen abhängig von Modellgröße, Datenmenge und Rechenaufwand in einer regelmäßigen Power-Law-Form sinkt.
- Lieferte eine empirische Grundlage für den Aufbau großer Modelle.
- Wurde später zu einem wichtigen Maßstab für Entwicklungsstrategien großer Sprachmodelle.
GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism
- Stellte Pipeline Parallelism als Methode vor, um riesige neuronale Netze verteilt auf mehrere Geräte zu trainieren.
- Machte das Training großskaliger Modelle praktikabel, indem Aufgaben effizient zwischen Geräten verteilt wurden.
- Bot eine infrastrukturseitige Lösung, die für die Erweiterung der Modellgröße nötig ist.
Deep Speech 2: End-to-End Speech Recognition in English and Mandarin
- Ein System, das Spracherkennung für Englisch und Chinesisch end-to-end verarbeitet.
- Nutzte Connectionist Temporal Classification, um Sprachsequenzen zu lernen.
- Zeigte das Potenzial skalierbarer Spracherkennungsmodelle auch in unterschiedlichen Sprachumgebungen.

Lernen aus Sicht von Informationstheorie, Kompression und Komplexität verstehen

Keeping Neural Networks Simple by Minimizing the Description Length of the Weights
- Eine frühe Arbeit, die die Generalisierung neuronaler Netze mit der Beschreibungslänge ihrer Gewichte verknüpfte.
- Vertrat die Perspektive, dass gute Modelle Gewichte besitzen, die mit wenigen Bits beschrieben werden können.
- Erklärt die Beziehung zwischen Kompression und Generalisierung informationstheoretisch.
A Tutorial Introduction to the Minimum Description Length Principle
- Tutorial-Material, das das Minimum Description Length Principle einführt.
- Interpretiert Lernen als Prozess, ein Modell zu finden, das die Daten am kürzesten beschreibt.
- Liefert grundlegende Konzepte, die für Modellwahl und ein Verständnis kompressionsbasierten Lernens nötig sind.
Kolmogorov Complexity
- Eine Theorie über die Länge des kürzesten Programms, das einen String erzeugt.
- Liefert die formale Grundlage für Description Length und algorithmic randomness.
- Steht in Verbindung mit Diskussionen über Kompression, Generalisierung und Komplexität von KI-Modellen.
The First Law of Complexodynamics
- Ein Text, der ein Gesetz untersucht, das erklärt, warum Komplexität in geschlossenen Systemen zunächst steigt und dann sinkt.
- Setzt Komplexität nicht einfach mit Entropie gleich, sondern behandelt sie als eigene dynamische Eigenschaft.
- Wirft konzeptionelle Fragen zur zeitlichen Veränderung komplexer Systeme auf.
Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton
- Eine Studie, die den Vorgang des Vermischens von Kaffee und Sahne mit zellulären Automaten modelliert.
- Analysiert das Phänomen, dass Komplexität zunimmt und anschließend abnimmt, während ein System in den Gleichgewichtszustand übergeht.
- Zeigt einen Versuch, zeitliche Veränderungen von Komplexität zu quantifizieren.

Generative Modelle und Konzepte universeller Intelligenz

Variational Lossy Autoencoder
- Ein Modell, das Variational Autoencoder mit einem autoregressive Decoder kombiniert.
- Stellt eine Methode vor, um zu steuern, welche Informationen der Latent Code bewahren soll.
- Behandelt das Gleichgewicht zwischen Repräsentationslernen und Informationserhalt in generativen Modellen.
Machine Super Intelligence
- Eine Dissertation, die eine universelle Messmethode für Maschinenintelligenz vorschlägt.
- Untersucht theoretisch die Eigenschaften und Konsequenzen sehr leistungsfähiger Agenten.
- Kann als eine der formalen Grundlagen der Diskussionen über Artificial General Intelligence und Superintelligenz gesehen werden.

Fazit

Eine kompakte Referenzliste zu den zentralen Entwicklungspfaden moderner KI

Diese Liste ordnet die wichtigsten Konzepte, die die Entwicklung moderner KI vorangetrieben haben, nach technischen Strömungen.
Sie zeigt den strukturellen Wandel von frühen Computer-Vision-Modellen über RNN, LSTM, Attention und Transformer bis hin zu Scaling Laws.
Sie deckt ein breites Spektrum ab, darunter Optimierung neuronaler Netze, großskaliges Training, Lernen auf Graphstrukturen, Informationstheorie und Komplexitätstheorie.
Es ist keine Paper-Liste zu einem einzelnen Fachgebiet, sondern eher ein mehrschichtiger Lernpfad zum Verständnis moderner KI.
Für KI-Forschende und Entwickler kann sie als Grundlagenmaterial dienen, um historischen Kontext, Kernprinzipien und Forschungsrichtungen der Technologie gemeinsam zu erfassen.

2 Kommentare

GN⁺ 2 시간 전

Meinungen auf Hacker News

Ich hätte nicht gedacht, dass dieser Beitrag so viel Aufmerksamkeit bekommt; ursprünglich hatte ich ihn als kleines Projekt gedacht, um Freunden den Einstieg ins Lesen von Research Papers zu erleichtern.
Es gab viel Feedback, dass Hintergrund und Animationen zu dominant seien; ich war wohl zu sehr darauf fokussiert, dass es cool aussieht, statt auf die Nutzbarkeit.
Deshalb habe ich Toggles hinzugefügt, mit denen man die Seitenbewegungen und den Paper-Hintergrund jeweils ausschalten kann.
Manche wollten auch persönlichere Eindrücke zu jedem Paper; zu einigen der populären Papers habe ich dazu bereits auf X unter @notmcrowley etwas geschrieben.
Wenn es hilfreich ist, kann ich das zur Site hinzufügen, aber ich habe ML oder KI nicht formal studiert, daher sind meine Interpretationen rein persönlich und können auch falsch sein.
Wenn jemand mit mehr Erfahrung beitragen möchte, kann er sich gern melden.
- Für Leute, die Twitter nie genutzt haben und auch nicht vorhaben, einen Account zu erstellen, wäre es schön, wenn solche persönlichen Eindrücke auf der Site ergänzt würden.
  Ich versuche gerade, wie deine Freunde ins Lesen von Research Papers einzusteigen, und diese Sammlung ist dafür gerade genau das richtige Material.
Jemand hat auf X gepostet: „Das sind Ilyas 30 Papers“, aber ohne Quelle, ohne anzugeben, woher die Liste stammt, und die Person hat auch keine Verbindung zu Ilya oder Carmack.
Und daraufhin hat jemand per Vibe Coding eine gerade so brauchbare Website gebaut, und diese landet jetzt auf der HN-Startseite — ist das wirklich die Situation?
- Ein Informatik-Erstsemester hat Interesse an einem Thema bekommen, eine kleine Paper-Sammlungsseite gebaut und sie auf HN gepostet, um sie mit anderen zu teilen.
  Und nun hat jemand einen nicht besonders netten Kommentar darunter geschrieben — das ist die Situation.
- Ressourcensammlungen für Geeks sind im Grunde nur Köder.
  Man setzt ein Lesezeichen und klickt auf Upvote, nur um sie nie wieder anzuschauen :)
- Auf der Site ist die Quelle zumindest teilweise angegeben.
  Dort steht: „Eine Liste von Papers, von der gemunkelt wird, dass Ilya Sutskever sie John Carmack gegeben hat.“
  Bei Manning gibt es auch ein Buch mit dem Titel Ilya’s List.
  https://www.manning.com/books/sutskevers-list
- Da ist ja schon wieder ein weiterer Neinsager aufgetaucht, als gäbe es davon nicht schon genug.
Ich bin der Autor. Ich bin Informatik-Erstsemester am Trinity College Dublin und habe die Site gebaut, weil ich beim Einstieg ins Lesen von Research Papers enorm viel Claude-Nutzung verbrannt habe, um Fragen zu stellen, die andere wahrscheinlich auch schon hatten.
Die Site ist einfach ein Nebenprojekt und definitiv noch Work in Progress.
Ich beantworte gern Fragen oder nehme PRs auf GitHub an.
- Eine Option, Animationen auszuschalten und die Paper-Links als einfache Liste anzuzeigen, wäre nützlich.
- Es wäre interessant zu hören, was das Ziel der Site ist.
  Ich frage mich, ob sie einfach nur die Liste erneut hostet und die Papers in ein neues Format überführt.
  Ich hätte zumindest erwartet, dass zu jedem Paper Anmerkungen stehen, was du daraus gelernt hast.
Es wäre schön, wenn die Papers in einer empfohlenen oder logischen Lesereihenfolge angeordnet wären.
Zum Beispiel sollte das Paper, das den Attention-Mechanismus einführt, wohl vor „Attention Is All You Need“ kommen.
- Stimme zu. Wenn die Papers in einer logischen Lesereihenfolge stehen, wäre es sehr hilfreich, das ganz oben klarzustellen.
Das könnte der ursprüngliche X-Post sein, der diese Liste bekannt gemacht hat. Er wurde 2024 veröffentlicht und hat 876.000 Aufrufe.
https://x.com/keshavchan/status/1787861946173186062
Ob die Liste tatsächlich von Ilya stammt oder nicht, ist meiner Meinung nach keine große Debatte wert.
Viele der Papers sind weithin als Lehrmaterial anerkannt, zum Beispiel annotated transformer, unreasonable effectiveness of RNNs und understanding LSTM networks.
Andere sind Standard-Papers, bei denen jeder, der sich für das Feld interessiert, etwas mitnimmt: Krizhevsky et al. (2012) führten AlexNet ein, Bahdanau et al. (2014) Attention, He et al. (2015) ResNet und Vaswani et al. (2017) den Transformer.
Die übrigen Papers sind spezieller, aber unter ihnen halte ich OpenAIs Kaplan et al. (2020) wahrscheinlich für das wichtigste.
Wenn man Anfänger ist und noch nicht ans Lesen von Papers gewöhnt ist, empfehle ich den Welch Labs Illustrated Guide To AI.
Es ist ein wunderschönes Buch, und ich hatte Freude beim Lesen.
Danach lassen sich diese Papers vermutlich mit mehr Tiefgang verstehen.
Zuerst dachte ich, es seien „die Top 30 Papers, die Ilya geschrieben hat“, und war kurz verwirrt, warum „Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton“ auf der Liste steht.
Bei der Formulierung „Ich habe die Website-Versionen nicht von Anfang bis Ende komplett gelesen“ ist außerdem unklar, ob mit Website-Versionen der eigentliche Text oder die „Erklärung“ gemeint ist.
So oder so wirkt das wie ein großes Warnsignal.
Nachdem ich diese Liste zum ersten Mal gesehen hatte, habe ich PdfToMp3 gebaut, um mir diese Papers anzuhören.
Inzwischen hat es sich zu ListenDock weiterentwickelt.
Interessant ist, dass PdfToMp3 vor NotebookLM da war und bereits eine „Übersicht“ hatte; damals nannte ich sie allerdings Lehrer-Erklärung.
Ein Beispiel für eine „Teacher Explanation“ zum Paper „Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton“ gibt es hier:
https://listendock.com/e/quantifying_the_rise_and_fall_of_co...
- Ich verstehe nicht, warum ich jedes Mal Downvotes bekomme, wenn ich hier etwas poste.
  Ich frage mich, ob es zu sehr nach Spam wirkt, ob es daran liegt, dass es KI ist, oder ob mir ein Downvote-Bot folgt.
Die theoretischen Papers zur Kolmogorow-Komplexität fallen auf.
Für alle, die damit nicht vertraut sind: Ilya argumentiert, dass neuronale Netze generalisieren — also überhaupt funktionieren —, weil sie im Grunde eine einfache Beschreibung der Trainingsdaten finden und gegen die Grenze der Kolmogorow-Komplexität konvergieren [1].
[1] https://www.youtube.com/watch?v=AKMuA_TVz3A
- Das gilt für alle statistischen Modelle und ist keine magische Eigenschaft, die nur neuronale Netze haben.
Mir gefällt die Art, wie die Liste präsentiert wird.
Vor oder während des Lesens dieser Papers ein paar Vorträge oder Podcasts von Ilya anzuschauen beziehungsweise anzuhören, dürfte helfen, den Gesamtüberblick und die Verbindungen zwischen den einzelnen Arbeiten zu verstehen.
https://www.dwarkesh.com/p/ilya-sutskever
https://simons.berkeley.edu/talks/ilya-sutskever-openai-2023...
https://www.dwarkesh.com/p/ilya-sutskever-2

jung5966 2 시간 전

Vielen Dank für die Liste von Materialien, mit denen man sich in moderne LLMs/KI einarbeiten kann.

-> CNNs vermitteln, wie man räumliche Strukturen erfasst; RNNs/LSTMs, wie man Zeitverläufe im Gedächtnis behält; Attention, wie man benötigte Informationen findet; Transformer, wie man diesen Prozess parallelisiert; GNN-/Relation-/Memory-Ansätze, wie man Beziehungen zwischen Objekten berechnet; Scaling-/Infrastructure-Paper, wie man das Ganze in großem Maßstab trainiert; und MDL-/Kolmogorov-/Complexity-Ansätze, wie man darüber nachdenkt, warum Lernen ein Problem von Kompression und Generalisierung ist.

Kurz gesagt zeigen die Paper in dieser Liste von 27 Arbeiten aus verschiedenen Blickwinkeln: „Intelligente Systeme werden stark, wenn gute inductive biases, stabiler Informationsfluss, selektives Gedächtnis, Beziehungsberechnung, Lernen in großem Maßstab und die Entdeckung komprimierbarer Strukturen zusammenkommen.“