NvChat – ein einzelner Windows-Client als exe für die kostenlosen LLMs von NVIDIA

Mit build.nvidia.com von NVIDIA lassen sich mehrere offene Modelle kostenlos über eine OpenAI-kompatible API nutzen. Da es aber umständlich ist, jedes Mal den Web-Playground zu öffnen, habe ich selbst einen Windows-Client erstellt, der sich wie die Desktop-Apps von Claude oder ChatGPT verwenden lässt.

Funktionen

• Liste verfügbarer Modelle per API laden, durchsuchen und auswählen (mehr als 100)
• Echtzeit-Streaming. Markdown wird nicht erst nach Abschluss der Antwort gerendert, sondern bereits während des Streamings
  (einschließlich Tabellen und syntaxhervorgehobener Code-Blöcke)
• Anzeige des Reasoning-Prozesses (Modelle wie deepseek-r1, die reasoning_content / <think> ausgeben)

Was für die Nutzung benötigt wird / Hinweise

• Ein kostenloser API-Key von build.nvidia.com (nvapi-...) ist erforderlich. Nach dem Login mit einem NVIDIA-Konto kann er über „Get API Key“ auf einer beliebigen Modellseite erstellt und in den Einstellungen eingetragen werden. (Für die App selbst ist keine separate Registrierung nötig.)
• Im kostenlosen Tarif gelten Request-Limits von NVIDIA.
• Da keine Code-Signatur vorhanden ist, erscheint beim ersten Start eine Warnung von Windows SmartScreen. Weitere Informationen → Ausführen.
• Nur für Windows x64.

Kostenlos, MIT-Lizenz. Quellcode und exe-Download: https://github.com/akon47/NvChat