Animations-KI

• Animated AI ist ein Projekt, das Konzepte neuronaler Netze mit Animationen und Lehrvideos veranschaulicht und dadurch visuell schwer verständliche Rechenabläufe leichter nachvollziehbar macht
• Die zentralen Materialien konzentrieren sich auf den grundlegenden Algorithmus der Convolution, Padding, Stride, Groups, Depthwise und Depthwise-separable Convolution
• Das Material zu Pixel Shuffle zeigt den Ablauf der Auflösungsänderung getrennt anhand von Beispielen mit 2x2- und 3x3-Blockgrößen
• Jedes Thema ist mit einem begleitenden YouTube-Video verknüpft, das zusammen mit den Animationen auf der Seite angesehen werden kann
• Die Projektseite verweist auf Patreon und den YouTube-Kanal, der Code ist unter der MIT License veröffentlicht

---

Animationen und Videos zu neuronalen Netzen

• Animated AI erstellt Animationen und Lehrvideos zur Erklärung von neuronalen Netzen
• Offizielle Links für Unterstützung und zum Ansehen der Videos werden zusammen bereitgestellt
  • Patreon
  • YouTube channel

Lernmaterialien zu Convolution

• Fundamental Algorithm of Convolution in Neural Networks ist ein begleitendes YouTube-Video zum grundlegenden Convolution-Algorithmus
• Convolution Padding - Neural Networks zeigt die Unterschiede bei Padding
  • No Padding, also „Valid“
  • [1,1,1,1] Padding, also „Same“
• Stride - Convolution in Neural Networks behandelt Stride-Einstellungen und deren Kombination mit Padding
  • Stride 1 und Stride 2
  • Kombinationen aus No Padding „Valid“ und [1,1,1,1] Padding „Same“
• Groups, Depthwise, and Depthwise-Separable Convolution (Neural Networks) ist Material zum Vergleich von Groups- und Depthwise-Varianten der Convolution
  • 1 Group
  • 2 Groups
  • Depthwise, 8 Groups
  • Depthwise-separable, mit nachgeschaltetem pointwise nach 8 Groups

Pixel-Shuffle-Beispiele

• Pixel Shuffle - Changing Resolution with Style ist ein begleitendes YouTube-Video zu Pixel Shuffle
• Bei der 2x2-Blockgröße lassen sich Beispiele für Shuffle, Unshuffle und wiederholte Schleifen ansehen
  • 2x2 Pixel Shuffle
  • 2x2 Pixel Unshuffle
  • 2x2 Pixel Shuffle/Unshuffle Loop
• Für die 3x3-Blockgröße wird derselbe Ablauf in separaten Beispielen bereitgestellt
  • 3x3 Pixel Shuffle
  • 3x3 Pixel Unshuffle
  • 3x3 Pixel Shuffle/Unshuffle Loop

Lizenz

• Der Projektcode ist unter der MIT License lizenziert

[GN⁺]

Meinungen auf Hacker News

• Gutes Design, und es gibt auch ein CNN-Visualisierungstool aus einer Forschungsarbeit der Georgia Tech
  https://poloclub.github.io/cnn-explainer/
  Sammlung von Tools zum Entwerfen und Visualisieren von neuronalen Netzwerkarchitekturen: https://github.com/ashishpatel26/Tools-to-Design-or-Visualiz...
  Außerdem gibt es TensorFlow Playground: https://playground.tensorflow.org/

  • ManimML: https://github.com/helblazer811/ManimML
    „But what is a convolution?“: https://youtu.be/KuXjwB4LzSA?si=qwnZMQYJhDxraGc8 https://github.com/3b1b/videos/tree/master/_2022/convolution... https://github.com/3b1b/videos/tree/master/_2023/convolution...
    „Convolution Is Fancy Multiplication“: https://news.ycombinator.com/item?id=25190770#25194658
    Links zu Manim, Blender, ipyblender, PhysX, o3de, FEM und CFD aus https://news.ycombinator.com/item?id=37953886: https://github.com/ManimCommunity/manim/issues/3362
    Die Kombination Manim + O3DE wirkt fürs Lernen ziemlich nützlich; es gibt auch Code zu einem mit Manim erstellten Video über einen Rubik’s-Cube-Algorithmus: https://github.com/polylog-cs/rubiks-cube-video/blob/main/co...
    Manim-API-Dokumentation: https://docs.manim.community/en/stable/reference.html
  • Das Widget „Understanding Hyperparameters“ im poloclub-Artikel fand ich besonders gut; ähnlich gebaute Tools könnten ebenfalls hilfreich sein
    https://static.laszlokorte.de/conv2d/

• Die Farben sind wirklich gut eingesetzt; anfangs dachte ich, es seien von einer KI erstellte Beispielanimationen
  Dass sie tatsächlich von Hand gemacht wurden, lässt den Aufwand noch deutlicher erkennen, und auch die Videos des YouTube-Kanals sind sehenswert

  • Zur leichteren Referenz hier der Kanallink: https://www.youtube.com/@animatedai/videos

• Ein gutes Projekt, aber es wäre besser, wenn nicht ohne Warnung GIF-Bilder mit über 100 MB geladen würden

  • Bei einer Seite über Animationen ist es normal, dass die Medien schwerer sind als auf gewöhnlichen Seiten, und auch normale Websites sind heute ziemlich groß
    Die NYT hat 11 MB, die Washington Post 22 MB, und schon ein einziger Ladevorgang von Reddit kommt auf etwa 40 MB
    Für eine Seite, die Animationen zeigen will, halte ich eine Größe im Bereich von 100 MB nicht für etwas, das zwingend eine gesonderte Vorwarnung braucht
  • Wie früher könnte man einfach ein „56k killer“-Tag anbringen
  • Ich bin der Betreiber der Website; danke für den Hinweis. Die Zahl der Animationen ist mit der Zeit gewachsen, und mir war nicht klar, dass die Gesamtgröße so groß geworden ist
    Mich würde interessieren, welches Verhalten gewünscht wäre. Zum Beispiel ein statisches Bild, das erst bei Klick oder Tap abgespielt wird, Abschnitte, die bis zum Aufklappen verborgen bleiben, oder eine andere Lösung
  • Genau genommen sind es 134 MB

• Sehr gut gemacht; es erinnert an diese hervorragenden 3D-Animations-Erklärvideos: https://www.youtube.com/@animagraffs

• Ich habe früher selbst Animationen mit Manim erstellt; sie sind zwar weniger glänzend, könnten aber hilfreich sein
  https://www.jerpint.io/blog/cnn-cheatsheet/

• Ich würde gern sehen, dass auch Attention-Schichten auf diese Weise animiert werden. Ich bin kurz davor, es zu verstehen, aber eben noch nicht ganz

  • Ich habe noch nicht „die eine Visualisierung“ gefunden, die das Attention-Konzept von Transformern so leicht verständlich macht wie diese CNN-Visualisierung
    Falls jemand eine Seite kennt, die beim Heureka-Moment für das vollständige Verständnis von Attention-Schichten geholfen hat, wäre Teilen sehr willkommen
  • Ich bin der Betreiber der Website; es gibt gute Nachrichten. Ich arbeite derzeit an Animationen und einem Erklärvideo zu Transformern und Self-Attention
    Der beste Weg, benachrichtigt zu werden, ist vermutlich, den YouTube-Kanal zu abonnieren und das Benachrichtigungssymbol zu aktivieren
  • Gemeint ist wohl, dass man eine Attention-Animation sehen möchte. Diese Seite zeigt keine Attention, sondern Faltung

• Wer interaktive Artikel zu bestimmten KI-Algorithmen sehen möchte, sollte sich auch Amazons mlu-explain ansehen
  https://mlu-explain.github.io/

• Wirklich gut. Es wäre schön, auch Abschnitte zu RNNs oder Transformern zu haben; ich wäre auch bereit, dafür zu bezahlen

• Ich habe mir oft gewünscht, dass es solche Animationen auch in der pandas-Dokumentation gäbe. Die groupby- / split-apply-combine-Pipeline ließe sich vermutlich mit einem einzigen 10-Sekunden-Clip erklären