Deep Reinforcement Learning: Vom Anfänger zum Experten

Einführung in Deep Reinforcement Learning

• Dieser Kurs ist ein praxisnaher Einstieg in grundlegende und klassische Deep-Reinforcement-Learning-Algorithmen
• Am Ende des Kurses kannst du DQN-, SAC- und PPO-Algorithmen selbst implementieren und deren theoretische Grundlagen auf einem hohen Niveau verstehen
• Damit kannst du KI-Modelle trainieren, die Atari-Spiele spielen oder eine Mondlandung durchführen

Umgebungseinrichtung

• Damit du dich auf das Lernen konzentrieren kannst, wird die Umgebungseinrichtung erklärt
  • Installation von Miniconda (ein Umgebungsmanager mit auswählbarer Python-Version)
  • Checkout dieses Git-Repositorys und Wechsel in den entsprechenden Ordner
  • Erstellen und Aktivieren der virtuellen Umgebung drlzh

    conda create --name drlzh python=3.11
    cona activate drlzh  
    

  • Installation von Poetry und der Abhängigkeiten (inklusive gymnasium[accept-rom-license] für Atari)

    pip install poetry
    poetry install
    

  • Installation von Visual Studio Code

Start

• Öffne den Repository-Ordner in Visual Studio Code (behalte den Ordner .vscode)
• Öffne das erste Notebook 00_Intro.ipynb und arbeite es nach
• Fahre mit den nächsten Notebooks fort
• Wenn es hakt, nutze den /solution-Ordner
• Für ausführliche Schritt-für-Schritt-Erklärungen zum Codieren sieh dir die YouTube-Videos an

GN⁺-Meinung

• Reinforcement Learning ist eine der KI-Technologien mit den größten Erfolgen in Bereichen wie Spielen und Robotik, ist aber in der Praxis noch schwierig anzuwenden. Die Trainingszeit ist beispielsweise oft lang, und in sicherheitskritischen Szenarien ist es schwierig, Fehler durch Ausprobieren zuzulassen
• Dieser Kurs behandelt einfache Probleme wie Atari-Spiele oder Mondlandungssimulationen, was für Einsteiger gut geeignet ist, aber für den Einsatz in der Praxis offenbar eine weiterführende Vertiefung erfordert
• Mit der zunehmenden Zahl solcher Open-Source-Lernmaterialien können immer mehr Entwickler KI-Technologien lernen und einsetzen. Besonders Reinforcement Learning wird voraussichtlich zu einer unverzichtbaren Kompetenz für Ingenieure in Robotik und autonomem Fahren werden
• Zur Einrichtung der Übungsumgebung werden Tools wie Conda, Poetry und andere eingesetzt, was für Einsteiger eine Hürde sein kann. Eine cloudbasierte Übungsumgebung wäre geeignet, die Einstiegshürden zu senken

[GN⁺]

Hacker News Kommentar

Kurze Zusammenfassung:

• Als ich versucht habe, Deep Reinforcement Learning zu lernen, konnte ich zwar auf viele gute Ressourcen zurückgreifen, aber es fehlte an Inhalten, die ein vernünftiges Gleichgewicht zwischen Theorie und Praxis bieten.
• Deshalb habe ich beschlossen, es selbst zu erstellen und als Open Source zu veröffentlichen. Ich habe die Algorithmen in einem Python-Notebook von Grund auf neu geschrieben und es mit einem „pädagogischen Ansatz“ aufbereitet.
• Es ist ein praxisnahes, schrittweises Tutorial, das Theorie und Coding-Übungen für oft genutzte Algorithmen wie QLearning, DQN, SAC und PPO bietet.

Feedback

• Es gibt zwar viele einfache Beispiele, die tatsächlich funktionieren, doch es fehlt an praktischen Ressourcen darüber, was zu tun ist, wenn Probleme auftreten. Es wäre hilfreich, Hinweise für Situationen zu bekommen, in denen Aktionen am Maximalwert kleben bleiben oder die Exploration nicht richtig funktioniert.
• Auch moderne RL-Techniken schneiden bei Tetris schlechter ab als einfache Heuristiken.
• Es wird das Musikgenerierungs-DRL-Framework RaveForce geteilt, ähnlich wie Gym, mit dem man Algorithmen testen kann.
• Es dürfte auch Leuten ohne großen Statistik-/ML-Hintergrund helfen, zu verstehen, wie der Agent lernt.
• Es wäre gut, einen YouTube-Video-Link hinzuzufügen.
• Es wird erwähnt, dass der Titel an Andrej Karpathys „Neural Network: Zero To Hero“ angelehnt ist. Es gibt auch Hinweise auf mögliche Verwechslungen mit seiner persönlichen Marke.