- Ein grafisches UI-Tool, das dafür entwickelt wurde, LLMs auf persönlicher Hardware einfach auszuführen
- Automatisiert komplexe Prozesse wie Backend-Verwaltung, Model-Downloads und die Einrichtung der Hardware-Beschleunigung
- Basiert auf KoboldCpp, einem Fork von llama.cpp, und unterstützt sowohl Text- als auch Bildgenerierung
- Unterstützt native Ausführung unter Windows, macOS und Linux (insbesondere einschließlich Wayland)
- Läuft auch auf Systemen nur mit CPU und unterstützt GPU-Beschleunigung auf Basis von CUDA, ROCm, Vulkan, CLBlast, Metal
- Integrierte Bildgenerierungsfunktion: Bietet Presets für wichtige Workflows wie Flux, Chroma, Qwen Image, Z-Image
- Mit der integrierten HuggingFace-Suche können Modelle direkt in der App durchsucht, Model Cards angesehen und GGUF-Dateien direkt heruntergeladen werden
- Mit der Option
--cli ist auch eine terminalbasierte Ausführung möglich; dabei läuft dasselbe Backend ohne GUI bei minimaler Ressourcennutzung
- AGPL-3.0-Lizenz
Noch keine Kommentare.