Mistral AI veröffentlicht Forge

• Forge ist ein System, mit dem Unternehmen KI-Modelle auf Basis ihrer eigenen internen Wissensbestände aufbauen können, und gleicht damit die Grenzen bestehender Modelle aus, die vor allem auf öffentlichen Daten beruhen
• Es trainiert domänenspezifische Modelle mit internen Dokumenten, Codebasen und Betriebsdaten und unterstützt dabei alle Phasen von Vortraining, Nachtraining und Reinforcement Learning
• Die Kontrolle über Modelle, Daten und Wissen sowie der Schutz geistigen Eigentums bleiben erhalten, sodass der Einsatz auch in regulierten Branchen möglich ist
• Mit maßgeschneiderten Modellen können Enterprise-Agenten interne Systeme und Richtlinien verstehen sowie den Einsatz von Tools und Entscheidungsprozesse präzise ausführen
• Die Unterstützung verschiedener Architekturen und kontinuierlichen Reinforcement Learnings erhöht die strategische Autonomie von Enterprise AI und die Möglichkeiten zur langfristigen Verbesserung

---

Überblick über Forge

• Forge ist ein System, das Unternehmen dabei unterstützt, Frontier-KI-Modelle auf Basis ihres eigenen Wissens und ihrer eigenen Daten aufzubauen
  • Während bestehende Modelle auf Basis öffentlicher Daten für allgemeine Aufgaben optimiert sind, bildet Forge den organisationsspezifischen Kontext ab, etwa interne Standards, Richtlinien, Code oder historische Entscheidungsprotokolle
  • Dadurch kann KI so arbeiten, dass sie zur operativen Umgebung und zu den Workflows des Unternehmens passt
• Mistral AI arbeitet bereits mit ASML, Ericsson, European Space Agency und HTX Singapore zusammen, um diese Technologie einzusetzen

Training von Modellen auf Basis institutionellen Wissens

• Forge trainiert Modelle mit großen internen Datenbeständen wie internen Dokumenten, Codebasen, strukturierten Daten und Betriebsprotokollen
  • Die Modelle lernen dabei die Terminologie, Schlussmuster und Randbedingungen der jeweiligen Umgebung
• Der Trainingsprozess besteht aus drei Phasen
  • Vortraining (pre-training): Aufbau eines domänenbewussten Modells mit internen Daten
  • Nachtraining (post-training): Feinabstimmung des Modells auf bestimmte Aufgaben und Umgebungen
  • Reinforcement Learning: Ausrichtung des Modellverhaltens an internen Richtlinien und Bewertungskriterien sowie Verbesserung der Leistung in realen Umgebungen
• So wird die Entwicklung von Modellen, die die Intelligenz der Organisation widerspiegeln, möglich

Kontrolle und strategische Autonomie

• Forge ist so konzipiert, dass Unternehmen die Kontrolle über Modelle und Daten behalten
  • Die Modelle werden mit internen Daten trainiert und können gemäß internen Richtlinien, Bewertungskriterien und betrieblichen Anforderungen verwaltet werden
• In regulierten Umgebungen können damit Compliance- und Governance-Anforderungen erfüllt werden
• Durch den Betrieb der Modelle in der eigenen Infrastruktur lässt sich strategische Autonomie sichern

Maßgeschneiderte Modelle und verlässliche Agenten

• Enterprise-Agenten müssen nicht nur Antworten erzeugen, sondern auch interne Systeme durchsuchen, Tools einsetzen und richtlinienbasierte Entscheidungen treffen
• Agenten auf Basis domänenspezifisch trainierter Modelle verstehen interne Begriffe und Abläufe und erkennen Zusammenhänge zwischen Systemen
  • Das verbessert die Genauigkeit bei der Tool-Auswahl, erhöht die Stabilität mehrstufiger Workflows und ermöglicht Entscheidungen im Einklang mit internen Richtlinien
• Dadurch wird die Umsetzung von KI-Agenten als operativen Bausteinen möglich

Unterstützung verschiedener Modellarchitekturen

• Forge unterstützt sowohl Dense- als auch Mixture-of-Experts (MoE)-Architekturen
  • Dense-Modelle sind stark bei allgemeinen Aufgaben, während MoE den Betrieb großer Modelle mit niedriger Latenz und hoher Kosteneffizienz ermöglicht
• Durch Unterstützung für multimodale Eingaben können verschiedene Datenformate wie Text und Bilder trainiert werden

Agentenzentriertes Design

• Forge wurde mit Code-Agenten als zentrale Nutzer entworfen
  • Beispiel: Autonome Agenten wie Mistral Vibe übernehmen Feintuning von Modellen, Hyperparameter-Suche, Aufgabenplanung und die Erzeugung synthetischer Daten
  • Forge verhindert Leistungsabfälle durch Monitoring von Evaluierungsmetriken während des Trainings
  • Einschließlich Infrastrukturverwaltung und Data-Pipeline-Rezepten ist Modellanpassung allein per natürlicher Sprache möglich

Kontinuierliche Verbesserung und Evaluierung

• Forge unterstützt kontinuierliches adaptives Lernen
  • Über Reinforcement-Learning-Pipelines kann das Modellverhalten mit internem Feedback verbessert werden
  • Mit einem Evaluierungs-Framework lassen sich interne Benchmarks, regulatorische Regeln und domänenspezifische Aufgaben testen
• Das ermöglicht einen kontinuierlich verbesserten Modelllebenszyklus statt statischer Auslieferung

Beispiele für den Enterprise-Einsatz

• Behörden: Unterstützung von Politikanalyse und öffentlichen Services durch Training auf mehrsprachigen Richtliniendokumenten und Verwaltungsverfahren
• Finanzinstitute: Sicherung konsistenter interner Governance durch Training auf regulatorischen Dokumenten und Risikoprozessen
• Software-Teams: Höhere Entwicklungsproduktivität bei Implementierung, Debugging und Review durch Training auf internen Codebasen
• Hersteller: Unterstützung von Diagnose und Entscheidungsfindung durch Training auf Designspezifikationen und Wartungsdaten
• Großunternehmen: Unterstützung komplexer Workflows und höhere Genauigkeit bei der Informationssuche durch Agenten auf Basis interner Wissenssysteme

Fazit: Der Wandel hin zu unternehmenszentrierter KI-Infrastruktur

• Während KI-Modelle zu einer zentralen Schicht der Unternehmensinfrastruktur werden, gewinnt die Modellierung von Organisationswissen an Bedeutung
• Forge bietet die Grundlage dafür, dass Unternehmen Modelle auf ihren eigenen Daten trainieren, ausrichten und evaluieren und so zu einem strategischen Asset weiterentwickeln können
• Damit kann KI von einem externen Tool zu einer zentralen Fähigkeit werden, die sich gemeinsam mit dem Organisationswissen weiterentwickelt

[GN⁺]

Hacker-News-Kommentare

• Ich mag Mistral. Die Balance aus Kosten und Datenspeicherung innerhalb der EU ist perfekt. Der Qualitätsverlust ist auch minimal.
  Aber das Namensschema der Modelle ist viel zu verwirrend. Es gibt zum Beispiel ein Modell namens Devstral 2, das weder Codestral noch Devestral ist.
  In der API gibt es mehrere Namen wie devstral-2512, devstral-latest, devstral-medium-latest usw.
  Ich dachte, devstral-latest wäre wohl richtig, habe den Support gefragt und bekam 12 Stunden später einen von KI erzeugten IntelliJ-Setup-Guide mit der Aussage: „devstral 2 ist devstral 2“.
  Das Problem: Die im Guide gezeigten Bildschirme existieren in Wirklichkeit gar nicht.

  • Ich habe mich auf ihrer Website auch völlig verirrt. In der offiziellen Dokumentation steht aber, dass
    devstral-2512, devstral-latest und devstral-medium-latest alle Devstral 2 sind.
    labs-devstral-small-2512 und devstral-small-latest sind beide Devstral Small 2,
    devstral-medium-2507 ist Devstral 1.0 und devstral-small-2507 ist Devstral Small 1.1.
  • Ich hatte dieselbe Erfahrung. Besonders verwirrend war, dass der API-Schlüssel-Erstellungsprozess je nach Produkt getrennt war.
  • Mein Eindruck ist, dass dieses Unternehmen sich eher auf B2B als auf einzelne Entwickler konzentriert.
    Es wirkt, als wollten sie für jedes Unternehmen maßgeschneiderte Workflows anbieten.
    Oder es ist ein Problem wie bei Google, wo die Kommunikation zwischen Abteilungen nicht funktioniert.
  • Ich denke, „Datenspeicherung innerhalb der EU“ ist der Grund, warum Mistral Unterstützung bekommt.
    Die Modellqualität ist zwar niedriger, aber innerhalb Europas ist das wohl die beste Option.
    Natürlich könnte man auch chinesische Modelle auf europäischen Servern betreiben.

• Man sollte Mistral nicht unterschätzen. Als allgemeiner LLM-as-a-Service ist es ziemlich günstig,
  und die Strategie, sich statt auf riesige Modelle auf maßgeschneiderte Modellierung zu konzentrieren, könnte sich am Ende auszahlen.
  Gerade im stark regulierten EU-Umfeld kann das ein Vorteil sein.
  Die Welt besteht nicht nur aus Code-Generierung.

  • Sehe ich genauso. Wenn Unternehmen KI für Automatisierung einführen wollen, ist dieser Ansatz optimal.
    Allerdings ist das eine Strategie mit niedriger Eintrittshürde und daher leicht kopierbar.
    Wenn sie für Produkte wie ERP, CRM usw. viele vortrainierte Modelle aufbauen
    und anschließend Modelle verkaufen, die mit den Customizing-Daten der Kunden weiter angepasst wurden, wäre das der eigentliche Moat.
    Entscheidend ist, still und leise Verträge abzuschließen.
  • Aber wenn das Wesen von LLMs gerade in den riesigen Modellen liegt,
    frage ich mich, wie maßgeschneiderte Modellierung dieses enorme Wissen ersetzen soll.
  • Ich habe auf ihrer Plattform selbst kleine spezialisierte Modelle trainiert.
    Man lädt einfach den Datensatz hoch und kann das Modell sofort über einen Endpoint nutzen.
    Es gibt Einschränkungen, aber die Zugänglichkeit steigt enorm.
  • Auch fürs Coden ist Vibe eher auf Refactoring von Funktionen als auf „eine komplette App schreiben“ spezialisiert.
    Es läuft auch lokal, sodass Entwickler die Kontrolle behalten.
  • Ehrlich gesagt gibt es außer „europäisch“ kaum einen Grund, Mistral zu wählen.
    Die Modellqualität gehört unter den LLMs eher zum unteren Ende.

• Ich habe mich gefragt, was mit „Pre-Training“ und „Post-Training“ gemeint ist.
  In der Praxis wird es doch kaum genügend saubere Datensätze geben.
  Deshalb ist unklar, ob das, was sie Pre-Training nennen, wirklich Basismodell-Training ist oder eher SFT (überwachtes Fine-Tuning).
  Vielleicht erzeugen sie auf Basis interner Daten auch synthetische Daten und machen damit Knowledge Distillation mit niedriger Auflösung.

  • Pre-Training bedeutet, ein bestehendes Modell mehr Rohtext (PDFs usw.) auszusetzen.
    Das Ziel bleibt weiterhin die Vorhersage des nächsten Tokens, daher nennt man es „continued pre-training“.
    Post-Training umfasst SFT, DPO, RL und alle anderen Prozesse auf Basis menschlichen Feedbacks.
  • Vermutlich ist das nur Marketingsprache, um Full Fine-Tuning von PEFT/LoRA zu unterscheiden.
  • Meine Vermutung wäre: Pre-Training heißt, die Gewichte eines bestehenden Modells mit mehr Daten weiter zu verfeinern,
    und Post-Training bedeutet, wie bei RAG zusätzliche Daten in den Prompt einzuspeisen.
  • Gemeint ist am Ende wohl einfach „continued pretraining“.
  • Klingt nach einer Unterscheidung zwischen SFT eines Basismodells und Anpassung per DPO oder verhaltensbasiertem SFT.

• Laut der Beschreibung von Forge werden Modelle mit internen Unternehmensdokumenten oder Codebasen trainiert,
  um Domänenwissen zu verinnerlichen.
  Meiner Meinung nach ist für Wissensaufnahme aber RAG effektiver als Fine-Tuning.
  Fine-Tuning eignet sich gut, um den „Ton“ eines Modells zu verändern, aber es ist schwer, damit neues Wissen zu injizieren.

• Ich unterstütze Mistrals Ansatz.
  Statt in den Wettbewerb um riesige Modelle einzusteigen, ist die Fokussierung auf kundenspezifisches Engineering und den EU-Markt klug.

  • Wenn es um Gespräche über philosophische Themen geht, ist Mistral am besten.
    Andere Modelle sorgen sich zu sehr um das Verständnisniveau des Lesers,
    aber Mistral kann auch tiefen und technischen Diskussionen gut folgen.
  • Ihr OCR-Modell ist wirklich absolut spitze.
  • Sie bieten auch Unterstützung für lokale Deployments.
  • Go Mistral!
  • Nach .ai kommt vielleicht die Zeit von .eu. Ich freue mich schon auf die Domain ai.eu.

• In letzter Zeit probiert Mistral wirklich viele interessante Dinge aus.
  Es ist schwer, mit OpenAI oder Anthropic zu konkurrieren,
  aber die Originalität des Produktdesigns sticht hervor.
  Persönlich würde ich dort sogar gern arbeiten.

• Mistral bringt in letzter Zeit viele coole Funktionen heraus.
  Es ist zwar kein Frontier-Modell, aber wenn man bedenkt, dass kleinere Unternehmen Modelle nicht einfach selbst trainieren können,
  sind solche Tools eine große Chance.
  Besonders zusammen mit Tools wie unsloth wirkt Training viel realistischer.

• Ich frage mich, wie viele Enterprise-Anwendungsfälle tatsächlich Fine-Tuning brauchen.
  Reicht nicht einfach RAG?

  • Wenn man kleine Modelle schnell und günstig spezialisiert trainiert,
    kann man Netzwerk-LLM-Aufrufe für Log-Analyse, Tool-Nutzung, Einbindung von Domänenwissen usw. reduzieren.
  • RAG ist einfach ein Ansatz, bei dem Dokumente durchsucht werden, um Antworten zu finden.
    Fine-Tuning verbessert dagegen die eigentlichen Schlussfolgerungsfähigkeiten des Modells.
  • RAG ist schon vorbei.

• Interessant ist, was dieser Ansatz über die Erlösstruktur von KI andeutet.
  Die Anzahl der GPUs wird wohl keine Eintrittsbarriere sein.
  Vielmehr werden spezialisierte und proprietäre Daten der wahre Moat sein.
  In den internen Daten von Unternehmen steckt nicht ersetzbares Wissen.
  Genau darauf setzt Mistral.

  • Menschen lernen zwar mit weit weniger Daten als das gesamte Internet,
    aber man könnte auch sagen, dass sie faktisch mit 3,5 Milliarden Jahren Evolutionsdaten trainiert wurden.

• Das ist der klügste Weg, mit KI Geld zu verdienen.
  MongoDB dringt über VoyageAI ebenfalls in den Markt für Enterprise-RAG und Beratung zu maßgeschneiderten Modellen vor.