Hodu - Rust-ML-Framework

Vor Kurzem hat ein befreundeter Bekannter mit Rust ein ML-Framework namens Hodu entwickelt.
Da ich selbst Erfahrung mit einem ähnlichen Projekt hatte, dachte ich, dass es für alle, die sich für ML-Frameworks interessieren, ein sehenswerter Beitrag sein könnte, und möchte es daher teilen.

Wichtige Merkmale

• no_std-Unterstützung: leichte Architektur, die auch auf Mikrocontrollern laufen kann
• Kompilierung statischer Graphen: Ein einmal kompilierter Graph kann auf Embedded-Geräten gespeichert und dort einfach für Inferenz genutzt werden
• Doppelter Ausführungsmodus:
  • Prototyping: Experimente auf Basis dynamischer Graphen
  • Produktionseinsatz: stabile Ausführung auf Basis statischer Graphen
• Hochleistungs-Backends
  • XLA-Backend: maximale Performance durch Graph-Optimierung und JIT-Kompilierung
  • HODU Native Backend: reine Rust-Implementierung, lauffähig ohne Plattformbeschränkungen
• Intuitive API: im Stil von PyTorch/TensorFlow
• Garantierte Speichersicherheit: Rusts Ownership-System verhindert vollständig Speicherlecks und Data Races
• Unterstützung mehrerer Geräte: CPU, CUDA (NVIDIA GPU), Metal (Apple GPU)

Hodu soll aus maidnx hervorgegangen sein, einem Projekt, das der Bekannte ursprünglich zum Lernen begonnen hatte, während er sich mit ML in Rust beschäftigte, und von dort bis zum heutigen Stand weiterentwickelt wurde.

Für die XLA-Funktion werden beim Build LLVM/Clang + 8 GB+ RAM + 20 GB+ Speicherplatz benötigt, und auch die Build-Zeit ist recht lang.
Die Unterstützung für CUDA-GPUs ist noch nicht vollständig implementiert, und SIMD-Optimierungen sind ebenfalls geplant.
Der Einsatz in Produktionsumgebungen wird derzeit nicht empfohlen; die Entwicklung ist sehr aktiv, und es gibt experimentelle oder noch unvollständige Funktionen.