- Rust-basierte Hochleistungs-Tensor-Bibliothek und Deep-Learning-Framework für numerische Berechnungen, Modellinferenz und Training
- Optimierungsleistung auf dem Niveau statischer Graph-Frameworks bei gleichzeitiger dynamischer Flexibilität
- Unterstützung für mehrere GPU/CPU-Backends
- GPU: CUDA, ROCm, Metal, Vulkan, WebGPU, LibTorch, Candle usw.
- CPU: auf Basis von CubeCL, NdArray, Candle und LibTorch
- Lauffähig auch in Wasm- und no_std-Umgebungen
- Entworfen rund um das Backend-Trait, mit einer austauschbaren Backend-Architektur für unterschiedliche Hardware- und Laufzeitumgebungen
- Autodiff-Backend-Dekorator: fügt allen Backends automatische Differenzierung hinzu
- Fusion-Backend-Dekorator: Kernel-Fusion-Funktion
- Router-Backend: unterstützt die Verteilung von Operationen über mehrere Hardware-Typen wie CPU und GPU
- Remote-Backend: ermöglicht verteilte Berechnungen und Remote-Ausführung über das Netzwerk
- Integrierte Unterstützung für den gesamten Ablauf von Training und Inferenz
- Echtzeit-Monitoring des Trainings mit einem terminalbasierten Dashboard auf Ratatui-Basis
- Deployment desselben Codes von eingebetteten Geräten bis hin zu großen GPU-Clustern
- Wiederverwendung bestehender Modelle durch Import von PyTorch-, Safetensors- und ONNX-Modellen
- Browser-Inferenz auf Basis von WebAssembly und WebGPU
- Unterstützung für no_std-Umgebungen, sodass auch auf Embedded-Geräten ohne Betriebssystem lauffähig
- Veröffentlicht unter einer Dual-Lizenz aus MIT und Apache 2.0
2 Kommentare
Ich bin gespannt, wie die Leistung im Vergleich zu PyTorch ist.
Rust, Wasm, WebGPU – das sind erfreulich vertraute Namen.