- Dieser an der Carnegie Mellon University (CMU) angebotene Kurs ist eine Einführung in die Funktionsweise moderner Systeme der Künstlichen Intelligenz
- Mit Schwerpunkt auf Machine Learning und Large Language Models (LLMs) werden die Basistechnologien hinter Systemen wie ChatGPT, Gemini und Claude vermittelt
- Teilnehmer lernen grundlegtes überwachtes Lernen, neuronale Netze, Transformer und Post-Training und können ein Open-Source-LLM selbst implementieren
- Die Online-Version wird kostenlos angeboten; Vorlesungsvideos und Aufgaben werden mit einem Rückstand von zwei Wochen gegenüber dem CMU-Kurs veröffentlicht
- Die Nutzung von AI-Tools ist erlaubt, empfohlen wird jedoch, die endgültigen Abgaben selbst zu verfassen; diese Richtlinie soll das Lernverständnis verbessern
Kursüberblick
- Der Kurs konzentriert sich auf Künstliche Intelligenz (AI) im modernen Sinn, also auf Machine Learning und Large Language Models (LLMs)
- Behandelt werden die Basistechnologien hinter Systemen wie ChatGPT, Gemini und Claude
- Die grundlegende Implementierung eines LLM besteht aus wenigen Machine-Learning-Methoden und Strukturen und kann in einigen hundert Zeilen Code geschrieben werden
- Teilnehmer lernen die Grundprinzipien von überwachtem Lernen, LLMs und Post-Training und können selbst einen AI-Chatbot implementieren
- Zu den wichtigsten behandelten Themen gehören
- eine kurze Geschichte der AI
- Überwachtes Lernen: lineare Modelle, Verlustfunktionen, Optimierung, neuronale Netze
- Large Language Models: Self-Attention, Transformer, Tokenizer, effiziente Inferenz
- Post-Training: Supervised Fine-Tuning, Alignment und Instruction Tuning, Reasoning-Modelle, Safety und Security
Online-Kurs
- Eine kostenlose Online-Version startet parallel zum CMU-Kurs und bietet Inhalte mit zwei Wochen Verzögerung gegenüber dem CMU-Zeitplan
- Enthalten sind Vorlesungsvideos, Aufgaben (mugrade-System), Colab-Notebooks usw.
- Quizze sowie Midterm- und Abschlussprüfungen sind in der Online-Version nicht enthalten
- Über Enroll here kann man E-Mail-Benachrichtigungen erhalten, wenn Vorlesungen und Aufgaben veröffentlicht werden
- TA, Office Hours und Benotung gelten nur für den CMU-Kurs
Bewertung und Voraussetzungen
- Benotung
- Aufgaben und Programmierung 20 %
- Aufgaben-Quizze 40 %
- Midterm- und Abschlussprüfungen 40 % (jedes Midterm 10 %, Abschlussprüfung 20 %)
- Erforderliche Vorkenntnisse
- Programmierung: sichere Beherrschung objektorientierter Programmierung in Python erforderlich (15-112 oder 15-122)
- Mathematik: grundlegende Analysis einschließlich Differentialrechnung (21-111 oder 21-120), Grundlagen in linearer Algebra und Wahrscheinlichkeit empfohlen
Aufgaben und Programmierung
- Die Hauptaufgaben zielen auf die schrittweise Implementierung eines AI-Chatbots ab
- Einreichung über das mugrade-System, mit Versionen für Colab- und Marimo-Notebooks
- Einige Aufgaben bauen auf den Ergebnissen vorheriger Aufgaben auf
- Aufgabenliste
- HW0: automatische Bewertung und Grundlagen der Programmierung
- HW1: lineare Algebra und PyTorch
- HW2: automatische Differenzierung und Training linearer Modelle
- HW3: Training neuronaler Netze
- HW4: Implementierung eines Transformers
- HW5: Implementierung eines minimalen LLM
- HW6: Supervised Fine-Tuning und Training eines Chatbots
- HW7: Reinforcement Learning
- Nach jeder Aufgabe gibt es ein 15-minütiges Quiz, das auf dem Code oder den Konzepten der Aufgabe basiert
Prüfungen und Vorlesungsplan
- Besteht aus zwei Midterms und einer Abschlussprüfung, alle als Offline-Prüfungen im Closed-Book-Format
- Midterm 1: Überwachtes Lernen
- Midterm 2: Large Language Models
- Abschlussprüfung: kumulative Bewertung (mit höherem Gewicht auf der zweiten Kurshälfte)
- Der Vorlesungsplan wird während des Semesters aktualisiert; die Online-Version wird zwei Wochen später veröffentlicht
- Beispiele: 1/12 „Geschichte der AI“, 1/28 „Lineare Modelle“, 2/16 „Midterm 1“, 3/18 „Midterm 2“, 4/20 „Abgabe HW7“ usw.
Richtlinie zur Nutzung von AI-Tools
- Nutzung von AI-Assistenten erlaubt: Bei Aufgaben und Programmierung dürfen AI-Tools als Hilfsmittel verwendet werden
- Es wird jedoch dringend empfohlen, die endgültigen Abgaben selbst zu verfassen
- Bei Leistungsbewertungen im Kurs (Quizze und Prüfungen) ist die Nutzung von AI und externen Materialien untersagt
- Ziel dieser Richtlinie ist es, die Lerneffizienz zu verbessern
- AI kann als Lernhilfe nützlich sein, übermäßige Abhängigkeit kann jedoch zu geringerem Verständnis führen
- Studierende, die Aufgaben selbst lösen, erzielen in Quizzen und Prüfungen tendenziell bessere Ergebnisse
1 Kommentare
Hacker-News-Kommentare
Wenn man sich die Richtlinien des AI-Kurses ansieht, ist der Einsatz von AI-Helfern bei Aufgaben und Programmier-Hausaufgaben erlaubt, aber es wird empfohlen, die endgültige Abgabe selbst zu verfassen
Bei Quizzen oder Prüfungen während des Kurses sind AI und externe Materialien verboten
Der Grund ist, dass AI zwar als Lernwerkzeug nützlich ist, übermäßige Abhängigkeit das Lernen aber behindern kann
Es gibt empirische Hinweise darauf, dass Studierende, die Probleme selbst lösen, in Prüfungen deutlich besser abschneiden
Man weiß, dass die Studierenden ohnehin AI verwenden werden, aber entscheidend ist das Vertrauen in Lernbereitschaft und persönliche Weiterentwicklung
Ich habe früher bei einem ähnlichen Kurs geholfen; wenn AI beim Debugging unterstützt hätte, hätten die Studierenden mehr Stoff behandeln und sich auf interessante Teile wie CUDA-Implementierungen konzentrieren können
Dieser neue Kurs sieht wirklich spannend aus, und Professor Zico ist ein hervorragender Lehrer
Mit AI das Verständnis zu beschleunigen und am Ende ohne AI bewertet zu werden, ist gut, um das Gelernte zu festigen
Damals fand ich das unfair, aber rückblickend war es eine sehr faire Methode
Für die heutige Zeit scheint das ein noch passenderer Ansatz zu sein
Der Dozent dieses Kurses ist Mitglied im Board von OpenAI
Verwandter Artikel: Zico Kolter joins OpenAI’s board of directors
Schade, dass sich „modern AI“ offenbar nur auf LLMs bezieht
Moderne AI umfasst ein viel breiteres Feld, und allein vom Titel her hatte ich vielfältigere SOTA-Modelle erwartet
Trotzdem sind CMU-Vorlesungen meist hervorragend, also dürfte das ein guter Kurs sein
Falls es Material gibt, das auch andere Bereiche behandelt, hätte ich großes Interesse
Ich belege den Kurs seit ein paar Tagen in der kostenlosen Version, und das Aufgabensystem ist wirklich hervorragend
Man kann Tests lokal selbst ausführen, wodurch man viel besser lernt, als wenn man nur zuschaut
Klare Empfehlung, 10 von 10
Macht man das auf dem eigenen Rechner, oder bekommt man Zugriff auf einen Cluster?
Ich frage mich, ob das ein guter Kurs ist
Oder ob es andere empfehlenswerte Kurse gibt, um systematisch zu lernen, wie LLMs funktionieren
Ich würde gern die Leute fragen, die dem Kurs tatsächlich folgen und alle Aufgaben bearbeiten
Realistisch gesehen: Wie viele Stunden pro Woche muss man investieren, um durchzukommen?
Ich warte darauf, dass postmoderne AI erscheint
Schade, dass es nichts zu symbolischem Schließen (symbolic reasoning) gibt
Ich hoffe, dass begleitend zur Vorlesung ein Lehrbuch erscheint
Wenn es herauskommt, kaufe ich es sofort
Es freut mich, die Rückkehr von Lisp und Prolog zu erleben
Trotzdem sind Lisp und Prolog weiterhin nützlich
Wenn man neuronale Netze von Grund auf implementiert, eignet sich C gut, und mit Python kann man Subsysteme verbinden, um ausreichend komplexe Systeme zu bauen
Sie haben immer still in ihrer eigenen Nische weiterexistiert