SuperGemma4 - unzensiertes/beschleunigtes/quantisiertes Modell von Googles Gemma 4 26B

 (huggingface.co)
40 Punkte von xguru 14 일 전 | 8 Kommentare | Auf WhatsApp teilen
  • Text-only-Modell auf Basis von Gemma 4 26B IT, für Apple Silicon MLX optimiert und auf 4 Bit quantisiert, mit einer Größe von etwa 13 GB
  • Intelligenter als das Original, auf derselben Maschine schneller und ein stabiles unzensiertes Modell für Code, Tool-Nutzung und Koreanisch
  • Text-only-Flaggschiff mit Fokus auf schnelle Textverarbeitung statt Multimodalität
  • Verbesserter QuickBench-Wert von 95,8 (Original 91,4) und 8,7 % höhere Generierungsgeschwindigkeit (46,2 tok/s), wodurch sich die gefühlte Antwortlatenz deutlich verringert
  • Behält uncensored als Kerneigenschaft bei und liefert dennoch stabile Ausgaben bei Code, Tool-Nutzung und koreanischen Prompts
    • Mit einem Code-Generation-Score von 98,6 (+6,3) zeigt es bei lokalem Schreiben und Refactoring von Python-Funktionen deutlich präzisere Ergebnisse als das Original
    • Mit einem Score von 95,0 für koreanische Prompts (+4,3) bleibt es auch bei Fragen auf Koreanisch stabil und ist sofort nutzbar
    • Bei der Verarbeitung von Koreanisch und Agent-Style-Prompts ist die Leistung besser als beim Original
    • Da es ein unzensiertes Modell ist, gibt es null Antworten, die von Content-Filtern blockiert werden, ohne dass die Ausgaben instabil werden oder kaputtgehen
  • Kann direkt in lokale Agent-Workloads/Pipelines für Browser-Automatisierung, Tool-Calling und Planung eingesetzt werden
  • Ausführen:
    • mlx_lm.server --model Jiunsong/supergemma4-26b-uncensored-mlx-4bit-v2 --port 8080
    • OpenAI-kompatibles Serving wird automatisch unterstützt; keine separate Template-Konfiguration erforderlich (im Gegenteil: Wenn ein Pfad an --chat-template übergeben wird, können Antworten beschädigt werden)
  • MLX 4-bit, BF16- und U32-Tensoren, Safetensors-Format

Verwandte Beiträge

8 Kommentare

 
kohs100 12 일 전

Ich habe gerade das 31b-Heretik auf Hugging Face im Einsatz, aber das sollte ich wohl auch mal ausprobieren.
 
jjangdww 13 일 전

Das muss ich auch mal ausprobieren.
Danke für die hilfreichen Informationen.
 
asdfg 13 일 전

Das hat anscheinend eine andere Lizenz als das ursprüngliche gemma4.
 
fanotify 13 일 전

Stimmt, es ist nicht Apache 2.0.
 
caniel 12 일 전

Im Lizenz-Tab ist ein Link zu Gemma 4 gesetzt – wo kann man das überprüfen?
 
adieuxmonth 14 일 전

Krass
 
sea715 14 일 전

Haha, interessant, dass das ein Modell ist, das in einer lokalen Community entwickelt wurde.