CS 886: Aktuelle Forschungstrends bei Foundation Models

• Einer der AI-Kurse der University of Waterloo, dem „MIT Kanadas“
• Enthält pro Kapitel erklärende Folien sowie Links zu YouTube-Vorlesungsvideos und Referenzen
• Schon allein die Themen- und Referenzlisten scheinen eine gute Quelle zum Nachschlagen zu sein

Vorlesungsübersicht

Einführung in Foundation Models

1. Einführung in Foundation Models
2. Hinweise zum Kurs
3. RNN & CNN
4. NLP & CV

Transformer-Architektur

5. Self-Attention & Transformer
6. Effiziente Transformer
7. Parameter-effizientes Tuning
8. Pretraining von Sprachmodellen

Large Language Models

9. Large Language Model
10. Skalierungsgesetz
11. Instruction Tuning & RLHF
12. Effizientes LLM-Training
13. Effiziente LLM-Inferenz
14. LLM komprimieren und ausdünnen
15. LLM-Prompting

(Große) multimodale Modelle

16. Vision Transformer
17. Diffusion Model
18. Bildgenerierung
19. Pretraining multimodaler Modelle
20. Large Multimodal Model

Erweiterung von Foundation Models

21. Tool Augmentation
22. Retrieval Augmentation