Mistral AI stellt das neue Sprachmodell Codestral Mamba vor

• Ein auf Codegenerierung spezialisiertes Mamba2-Sprachmodell
• Mamba-Modelle bieten im Gegensatz zu Transformer-Modellen lineare Inferenzzeit und theoretisch die Fähigkeit, Sequenzen mit unendlicher Länge zu modellieren
  • Dadurch können Nutzer unabhängig von der Eingabelänge mit schnellen Antworten umfangreich mit dem Modell interagieren
  • Diese Effizienz wirkt sich besonders auf die Code-Produktivität aus und ermöglicht eine Leistung auf Augenhöhe mit SOTA-Transformer-basierten Modellen
• In Benchmark-Ergebnissen zeigt das 7B-Modell Codestral Mamba (7B) bessere oder nahezu gleichwertige Fähigkeiten als bestehende Modelle wie CodeGemma-1.1 7B, CodeLlama 7B und DeepSeek v1.5 7B
• Es wird erwartet, dass es ein hervorragender lokaler Code-Assistent wird
• Bereitstellung über das mistral-inference SDK und TensorRT-LLM möglich; Unterstützung in llama.cpp für lokale Inferenz ist ebenfalls geplant
• Rohgewichte können bei HuggingFace heruntergeladen werden

[xguru]

Hacker-News-Kommentare

• Es werden Schritte benötigt, um es in VS Code auszuführen

  • Es würde die Akzeptanz fördern, wenn der Beitrag einen Link zu einer Anleitung oder einen Ein-Klick-Installationslink für die VS-Code-Erweiterung enthalten würde
  • Das Modell dürfte für viele Nutzer interessant sein, aber problematisch ist, dass es keinen monetarisierbaren Call-to-Action gibt

• Es wird um Empfehlungen für Modelle mit FIM-Funktion gebeten

  • codellama-13b wird zusammen mit einer Vim-Erweiterung verwendet, liefert aber keine besonders gute Leistung
  • Gemma-27b erzeugt besseren Code, hat aber keine FIM-Funktion
  • Bei codellama-34b funktioniert die Inferenz nicht richtig

• In der MBPP-Spalte sollte DeepSeek hervorgehoben werden

  • DeepSeek erzielt bessere Werte als Codestral

• Es wurde angekündigt, dass das Modell auf HuggingFace verfügbar ist, aber es wurde kein Link bereitgestellt

  • Link: HuggingFace Mamba-Codestral-7B-v0.1

• Es ist gut, ein hochkarätiges Modell zu sehen, das Mamba2 verwendet

• Es wird behauptet, Mamba sei schneller, aber es fehlen Latenzzahlen

  • Es wird gefragt, ob es jemand ausprobiert hat und ob es tatsächlich schneller ist

• Es wird empfohlen, eine Produkteinführung zu den Vor- und Nachteilen von Mamba und Transformers zu erstellen

• Es wird gefragt, ob es eine gute Erklärung der Mamba-Architektur gibt

• Es werden Videos oder Artikel für Menschen empfohlen, die das allgemeine Konzept von LLMs verstehen, aber nur allgemein verfügbare Tools wie ChatGPT, Claude usw. ausprobiert haben

  • Man möchte prüfen, ob die nötige Hardware für die lokale Ausführung vorhanden ist, weiß aber nicht, wo man anfangen soll

• Im model.box-Playground wurde ein schneller Test durchgeführt

  • Die Länge der Vervollständigungen ist deutlich kürzer als bei anderen Modellen (z. B. gpt-4o)
  • Die Antwortgeschwindigkeit entspricht den Erwartungen

[xguru]

Codestral - Mistrals KI-Modell zur Codegenerierung