Hodu: Benutzerfreundliches ML-Toolkit, entwickelt in Rust

Ein einfach zu nutzendes Machine-Learning-Toolkit für den Weg vom Prototyping bis zum Deployment, mit Speichersicherheit und Zero-Cost-Abstraktion.

Das Projekt wird derzeit von einer einzelnen Person entwickelt. Es befindet sich noch in einer frühen Entwicklungsphase, aber die Kernfunktionen sind inzwischen einigermaßen stabil, sodass ich es nun teilen möchte. Ich freue mich über Feedback oder Anregungen.

Was Hodu bietet:

• hodu-lib: Die zentrale ML-Bibliothek, die durch Rusts Ownership-System und Zero-Cost-Abstraktion speichersichere Tensor-Operationen und den Aufbau von Modellen ermöglicht. Unterstützt verschiedene Backends wie CPU, CUDA und Metal
• hodu-cli: Ein Kommandozeilen-Tool, das Modellinferenz, Formatkonvertierung und AOT-Kompilierung zu nativen Bibliotheken unterstützt. Inklusive integrierter Plugin-Verwaltung
• hodu-plugin-sdk: Ein SDK zum Erstellen benutzerdefinierter Plugins über JSON-RPC. Ermöglicht das Hinzufügen neuer Modellformate (ONNX, TensorFlow), Tensorformate (NumPy, SafeTensors) und Ausführungs-Backends