Mistral: Erste AI-Endpunkte, Early Access verfügbar

Beta-Start des neuen Plattformdienstes von Mistral AI

• Mistral AI bietet Entwicklern leistungsstarke offene generative Modelle und Möglichkeiten, diese effizient bereitzustellen und anzupassen.
• Heute startet der Beta-Zugang zum ersten Plattformdienst, der drei Chatbot-Endpunkte für textbasierte Anweisungen sowie einen Embedding-Endpunkt bereitstellt.
• Jeder Endpunkt bietet einen anderen Trade-off zwischen Leistung und Preis.

Generative Endpunkte

• mistral-tiny und mistral-small verwenden die beiden derzeit veröffentlichten Modelle, während mistral-medium ein Prototypmodell nutzt, das in der Deployment-Umgebung getestet wird.
• Die Modelle integrieren die wirksamsten Alignment-Techniken wie effizientes Fine-Tuning und Direct Preference Optimization, um Modelle zu schaffen, die sich leicht steuern lassen und angenehm zu verwenden sind.
• Mistral-tiny unterstützt nur Englisch, Mistral-small unterstützt mehrere Sprachen und Code, und Mistral-medium wird als eines der führenden Service-Modelle bewertet.

Embedding-Endpunkt

• Mistral-embed bietet ein Embedding-Modell mit Fokus auf Suchfunktionen und hat eine Embedding-Dimension von 1024.
• Dieses Embedding-Modell erreicht im MTEB einen Retrieval-Score von 55,26.

API-Spezifikation

• Die API folgt der Spezifikation einer populären Chatbot-Schnittstelle, die ursprünglich von einem Wettbewerber vorgeschlagen wurde.
• Es werden Client-Bibliotheken für Python und Javascript bereitgestellt, mit denen die Endpunkte abgefragt werden können.
• Die Endpunkte ermöglichen System Prompts, sodass Nutzer ein höheres Maß an Moderation für die Modellausgabe festlegen können.

Ausbau von Beta-Zugang zu allgemeiner Verfügbarkeit

• Ab heute kann sich jeder für die API registrieren und sie nutzen; die Kapazität soll schrittweise erhöht werden.
• Das Business-Team kann dabei helfen, Anforderungen zu klären und den Zugang zu beschleunigen.
• Während die Plattform zu einem vollständig selbstbedienbaren Angebot stabilisiert wird, kann es noch zu Instabilitäten kommen.

Danksagung

• Dank an NVIDIA für die Unterstützung bei der Integration von TensorRT-LLM und Triton sowie für die gemeinsame Arbeit an einer mit TRT-LLM kompatiblen sparsamen Mixture of Experts.

Meinung von GN⁺

• Der wichtigste Punkt dieses Artikels ist, dass Mistral AI Entwicklern neue generative Modelle und ein Embedding-Modell zur Verfügung stellt, wodurch bessere Funktionen für Textgenerierung und Embeddings nutzbar werden.
• Diese Technologien werden die Weiterentwicklung der künstlichen Intelligenz fördern, und die Fähigkeit, verschiedene Sprachen und Code zu unterstützen, dürfte die Einsatzmöglichkeiten im globalen Markt deutlich erweitern.
• Für Entwickler eröffnet dies mit neuen Tools und APIs spannende Chancen, kreative Projekte und Lösungen zu entwickeln, was die Erwartungen an die Zukunft der Technologie weiter steigert.

[GN⁺]

Hacker-News-Kommentare

• Ein kleines Unternehmen (mit rund 30 Mitarbeitern) wird mit 2 Milliarden Dollar bewertet und hat das leistungsstärkste 7B-Modell sowie ein 7B*8-MOE-Modell hervorgebracht. Diese Modelle erreichen die Leistung eines 70B-Modells, benötigen aber nur die Inferenzleistung eines 14B-Modells. Das könnte eine größere Bedrohung für OpenAI sein, und durch die jüngste Finanzierung dürfte das Unternehmen bald in der Lage sein, den Traffic zu skalieren und Spitzenforscher anzuziehen, die von den verschiedenen Problemen der Branche enttäuscht sind.
• Das Modell Mistral-medium schlägt in Benchmarks GPT-3.5 und Googles Gemini Pro deutlich. Es wird erwartet, dass auch die reale Leistung ebenso beeindruckend sein wird wie die Benchmark-Ergebnisse, und dass Sicherheitsfilter optional angeboten werden, ist auch für sichere Anwendungen ein großer Vorteil.
• Die Preise von Mistral wurden veröffentlicht. Mistral-medium kostet 8 Dollar pro 1 Million Output-Token, Mistral-small 1,94 Dollar, was im Vergleich zu den Preisen von GPT-3.5 und GPT-4 auf Wettbewerbsfähigkeit hindeutet.
• Der TextSynth-Server von Fabrice Bellard unterstützt jetzt das Mistral-7B-Modell. Funktionen wie CUDA-Unterstützung, BNF-Grammatik und JSON-Schema-Sampling wurden hinzugefügt.
• Wettbewerb ist der Motor des Fortschritts. Es ist erfreulich, dass sowohl kleine als auch große Akteure konkurrenzfähige Modelle haben. Schade ist, dass bei der Veröffentlichung von Benchmarks oft Testmethoden gewählt werden, die zu den eigenen Gunsten angepasst sind. Es braucht offene Benchmarks, um wichtige Modelle fair zu vergleichen.
• Es gibt zu wenig Diskussion über die Begrenzung der Kontextgröße dieser Modelle. Die Sliding-Window-Technik begrenzt das tatsächliche Erinnerungsvermögen auf etwa 8k Token, was für viele Aufgaben nicht ausreicht. Abgeleitete Llama2-Modelle benötigen Feintuning nicht nur wegen der Anzahl der Parameter, sondern auch wegen des angebotenen kleinen Kontexts.
• „Endpoint mit Early Access“ bedeutet in Wirklichkeit „Warteliste für Early Access zu einem Endpoint“. Der API-Zugang ist derzeit nur auf Einladung verfügbar, und man werde benachrichtigt, wenn man den Zugang zum besten Modell abonnieren kann.
• ChatGPT-3.5 geschlagen zu haben, ist wirklich eine große Leistung. GPT-3.5 reicht für alltägliche Dinge nicht aus, daher sind die Erwartungen an GPT-4 hoch.
• Die Mistral-API folgt der Spezifikation einer beliebten Chat-Oberfläche, die von einem Wettbewerber vorgeschlagen wurde. Das ist interessant und gefällt mir.
• Mistral-embed bietet ein Embedding-Modell mit 1024 Dimensionen, das mit Blick auf Suchfähigkeiten entwickelt wurde. Auf MTEB erreicht es einen Retrieval-Score von 55,26. Es gibt noch keine Informationen dazu, ob dieses Embedding-Modell als Open Source veröffentlicht wird.