Überarbeitete vLLM Recipes – Einstellungen für jede Modell- und Hardware-Kombination mit einem Klick
(recipes.vllm.ai)recipes.vllm.ai wurde umfassend überarbeitet. Mit vLLM erhält man jetzt interaktiv eine Antwort auf die Frage: „Wie lasse ich Modell X auf Hardware Y laufen?“
Wichtige Änderungen
HuggingFace-Spiegel-URL — Wenn man huggingface.co durch recipes.vllm.ai ersetzt, gelangt man direkt zum passenden Modellrezept (z. B. recipes.vllm.ai/Qwen/Qwen3.6-35B-A3B)
Interaktiver Command Builder — Durch Auswahl von Hardware, Variante und Parallelisierungsstrategie wird sofort ein direkt nutzbarer vllm serve-Befehl erzeugt
Modulare Hardware — Wechsel zwischen NVIDIA (Hopper/Blackwell) und AMD (MI300X/MI355X) per Klick, inklusive automatischer Anwendung von Flags und Umgebungsvariablen
JSON-API — Alle Rezepte werden auch unter dem Pfad /.json bereitgestellt und können so direkt von Agenten und Automatisierungs-Tools genutzt werden
Mit Agent Skills zu Rezepten beitragen
Das Repository enthält Agent Skills, mit denen sich neue Rezepte end-to-end beitragen lassen. Der Agent führt dabei von der Ausführung von Benchmarks bis zur Erstellung des Rezepts und dem Einreichen eines PR.
→ github.com/vllm-project/recipes
4 Kommentare
Wenn das so weitergeht, kann man wohl bald jedes Gerät mit einem Klick deployen ... oha.
Es sieht so aus, als würden jetzt alle für den Produktiveinsatz verfügbar werden.
Es scheint noch viele Modelle zu geben, die bisher fehlen.
Daher scheint es eine gute Gelegenheit zu sein, einen Beitrag zu leisten.