LibreCuda – CUDA-Code auf Nvidia-GPUs ohne proprietäre Runtime ausführen

 (github.com/mikex86)
9 Punkte von GN⁺ 2024-08-09 | 1 Kommentare | Auf WhatsApp teilen
  • Ein Projekt mit dem Ziel, die CUDA Driver API zu ersetzen, damit CUDA-Code auf Nvidia-GPUs ausgeführt werden kann, ohne von der proprietären CUDA-Runtime abhängig zu sein
  • Kommuniziert direkt mit der Hardware über ioctls (insbesondere das, was in Nvidias offenem GPU-Kernelmodul rmapi genannt wird) und über QMD, Nvidias MMIO-Befehlswarteschlangenstruktur
  • Kann CUDA-ELF-Binärdateien auf die GPU hochladen und über die Befehlswarteschlange ausführen
  • Aktueller Funktionsumfang
    • GPU-Speicher allokieren und freigeben sowie Speicher so mappen, dass die CPU darauf zugreifen kann
    • CUDA-ELF-Binärdateien auf die GPU hochladen
    • CUDA-Kernel über die Befehlswarteschlange ausführen
  • MIT-Lizenz

Zusammenfassung von GN⁺

  • LibreCUDA ist ein Projekt, das die Ausführung von CUDA-Code auf Nvidia-GPUs ohne proprietäre CUDA-Runtime ermöglicht
  • Derzeit sind nur grundlegende Funktionen implementiert, und es ist noch nicht für den praktischen Einsatz bereit
  • Ein Projekt mit ähnlicher Funktionalität ist ROCm, das auf AMD-GPUs CUDA-ähnliche Funktionen bereitstellt

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2024-08-09
Hacker-News-Kommentare

  • Das Ziel von Open CUDA ist, dass es auch auf anderen GPUs als NVIDIA-GPUs laufen kann

    • Wenn man dafür trotzdem eine NVIDIA-GPU kaufen muss, hat es keinen Sinn
    • Gäbe es echten Wettbewerb, könnte man Geräte mit mehr VRAM leichter kaufen
    • Irgendwann könnte man Llama 405b lokal ausführen

  • Ich habe nur begrenzte Erfahrung mit CUDA, frage mich aber, ob dies helfen könnte, die Probleme mit abhängigen CUDA/CUDNN-Versionen zu lösen, die beim Ausführen verschiedener ML-Bibliotheken (z. B. TensorFlow, ONNX) auftreten

  • Sehr gut

    • Das ist alles, was ich mir von der CUDA-Runtime wünsche
    • Man könnte LLVM-libc-Unit-Tests ausführen
    • Das könnte AMD-Bibliotheken rechtfertigen, die denselben Ansatz mit direkten Systemaufrufen verwenden

  • Für Projekte, die auf CUDA angewiesen sind, sollte der Wechsel von LibreCUDA zu HiP der erste Schritt sein, um Plattformfreiheit zu gewinnen

  • Ich frage mich, was eine CUDA-ELF-Datei ist

    • Ich frage mich, ob es sich um binären SASS-Code handelt und ob eine Open-Source-PTXAS-Alternative nötig ist

  • Ich frage mich, welches Problem das für CUDA-Einsteiger löst

  • Es wirkt, als hätte man die Gelegenheit verpasst, es CUDA Libre zu nennen

  • Ich frage mich, ob man weiterhin den proprietären NVIDIA-Grafiktreiber ausführen muss oder ob das völlig unabhängig ist

  • Die Autoren sollten anfangen, über Hinweise zu Markenrechtsverletzungen nachzudenken

  • Nachdem ZLUDA auf Wunsch von AMD eingestellt wurde, braucht es als allgemeine Methode, die CUDA-Abhängigkeit aufzubrechen, einen Ersatz für ZLUDA

    • Man braucht etwas, das nicht an NVIDIA-Hardware gebunden ist