GPU-Usage-Audit: Wenn die GPU nicht einfach nur untätig ist, sondern im Zustand „reserviert und untätig“ festhängt?!

Wenn nvidia-smi nur 1 % Auslastung anzeigt, wirkt die Karte frei,
aber wenn jemand in einem Jupyter-Notebook 8 GB belegt hält und dann den Platz verlässt, kann diese GPU von niemand anderem genutzt werden.
Auf gemeinsam genutzten Servern oder bei stundenweise abgerechneten GPUs ist das eine unsichtbare Verschwendung.

Deshalb haben wir GPU-Usage-Audit entwickelt!

Wenn nur der NVIDIA-Treiber installiert ist, werden GPU-Metriken in SQLite aufgezeichnet und später als Report ausgegeben.

Der Report teilt die GPU-Nutzungszeit nicht in zwei, sondern in drei Kategorien auf.
Zeit mit tatsächlicher Berechnung, Zeit, in der sie vollständig frei ist, und die Zeit „idle-held“, in der Speicher belegt ist, aber keine Berechnung stattfindet.

Die meisten Tools werfen die letzten beiden in einen Topf, aber genau dort versteckt sich die Verschwendung.
Die reservierte Zeit wird in GPU-Stunden umgerechnet, und wenn Prozesse pro Benutzer laufen, zeigt der Report auch, wer wie viel belegt.

Installation und Start sind eine einzige Zeile: uv tool install gpu-usage-audit && gua daemon

Sobald sich Daten angesammelt haben, kannst du dir mit gua report den Report ansehen,
und wenn du erst einmal das Ergebnis ohne Daten sehen willst, kannst du mit gua demo Beispieldaten laufen lassen.