Nativ – Frontier-Open-Modelle lokal auf dem Mac ausführen

• Nativ ist eine Open-Source-App unter MIT-Lizenz, mit der sich offene KI-Modelle auf Apple-Silicon-Macs herunterladen und ohne Konto, Abo oder Cloud ausführen lassen
• Sie bietet Modelle von Google, Cohere, Liquid AI und anderen, empfiehlt passende Modelle für die Mac-Hardware und erzeugt alle Antworten lokal
• Im Chat werden Streaming, Markdown, Code-Hervorhebung und Bildeingaben unterstützt; Leistungsdaten wie Tokens pro Sekunde und Speicherdruck lassen sich in Echtzeit einsehen
• Optimiert für MLX-VLM sowie den Unified Memory und Metal der M-Serie, verarbeitet sie Sprach-, Vision-, Video-, Code- und Audio-Aufgaben
• Der lokale Modellserver kann mit Pi, Codex, Claude Code, Hermes und OpenCode verbunden werden; außerdem ist der gesamte Code der App und des Model Loaders öffentlich

---

Lokal optimierte Modellausführung auf dem Mac

• Als universelle macOS-App mit Unterstützung für Apple Silicon M1 und neuer führt Nativ echte Modelle auf dem Mac aus – ohne Cloud oder separate Konvertierungsschicht
• Aus einer kuratierten Bibliothek lassen sich offene Modelle von Google, Cohere und Liquid AI auswählen; zudem werden zur Hardware passende Modelle empfohlen
• Die Chat-Oberfläche bietet folgende Funktionen
  • Streaming-Antworten und Leistungsmetriken pro Nachricht
  • Markdown und Syntaxhervorhebung für Code
  • Bildeingaben
• Mit Echtzeit-Leistungsmessung lassen sich Tokens pro Sekunde, Speicherdruck, thermischer Zustand und Zeit bis zum ersten Token prüfen
• Basierend auf MLX-VLM und auf den Unified Memory und Metal der M-Serie abgestimmt
• Unterstützt LLM-Chat, Bildunterschriften-Erzeugung, Videozusammenfassungen, Code-Autovervollständigung sowie Sprachumwandlung und -generierung
• Es sind weder Konto, Credits noch Abonnement erforderlich, und Nutzerdaten werden nicht verkauft

Integration mit Entwicklertools und Open-Source-Prinzipien

• Über den einzigen lokalen Endpoint von Nativ können bestehende Coding-Agenten mit lokal auf dem Mac laufenden Modellen verbunden werden
  • Pi
  • Codex
  • Claude Code
  • Hermes
  • OpenCode
• Der gesamte Code einschließlich Desktop-App, Model Loader und Charts zur Leistungsmessung ist öffentlich einsehbar und kann geforkt oder per Pull Request erweitert werden
• Vertrieb unter MIT-Lizenz, ohne VC-Roadmap, Enterprise-Tiers oder Dark Patterns, die Prompts in Trainingsdaten verwandeln
• Die vollständige Modellbibliothek ist auf Hugging Face verfügbar

[GN⁺]

Meinungen auf Hacker News

• Diese App unter MIT-Lizenz stammt von Prince Canuma, dem Maintainer der beliebten Bibliothek MLX-VLM. MLX-VLM kann auf Apple-Geräten schnellere Inferenz als llama.cpp bieten und wird schon lange als Abhängigkeit etwa von LM Studio genutzt.
  Das MLX-Ökosystem ist kleiner als CUDA, unterstützt neue Modelle aber sehr schnell, insbesondere multimodale Modelle wie Vision, Spracherkennung, Sprachsynthese und Videogenerierung. Auch mlx-audio-swift ist einen Blick wert; es wäre nicht überraschend, wenn solche Modelle in diese UI integriert würden.
  Die Landingpage mag Spuren von Vibe Coding zeigen, aber der Großteil der App ist in Swift geschrieben, sodass sich dieser Inferenz-Stack offenbar auch leicht auf iPad und iPhone portieren ließe.

  • Auf Hugging Face gibt es heutzutage MLX-Versionen fast aller beliebten Modelle. Man kann zum Beispiel auf der Hauptseite von Qwen 3.6 35B-A3B den Quantisierungslinks folgen und eine angesehene, beliebte MLX-Variante auswählen.
  • Es war schön, blaizzy in der Domain zu sehen, weil Prince Canumas Arbeit rund um MLX auffallend hochwertig ist.
  • Im GitHub-Repository steht, dass Unterstützung für reine Audio-Modelle und reine Bildgenerierungsmodelle demnächst hinzukommt. Prince Canuma antwortet auf X und in GitHub-Issues sehr schnell, und ich nutze mlx-audio sowie mlx-community/Qwen3-TTS-12Hz-1.7B-Base-bf16 fast täglich zum Voice Cloning.
  • Meine erste Frage war: Was ist anders als bei Unsloth?
  • mlx-vlm hat, ähnlich wie vllm oder sglang, miserable Unterstützung für moderne Sampler, sodass ein Wechsel sogar schaden könnte. Ich bin einer der Autoren des min_p-Papers, und wenn min_p das Beste ist, was angeboten wird, während llama.cpp das deutlich bessere top-n-sigma unterstützt, gibt es trotz höherer Geschwindigkeit keinen Grund zu wechseln.
    Wer moderne Sampler unterstützen will, kann mit Paper 1, Paper 2 und Paper 3 anfangen.

• Der Ausdruck Frontier scheint überstrapaziert zu werden. Ich dachte, er bezeichne Modelle auf höchstem Niveau wie derzeit Fable; solche Modelle brauchen aber enorme Mengen RAM und teure GPUs, sodass sie sich kaum selbst hosten lassen.

  • Hier scheint die Pareto-Frontier gemeint zu sein, also die Menge der besten Lösungen eines Mehrziel-Optimierungsproblems. Bezogen auf Intelligenz und Preis gehört ein Modell zur Frontier, wenn es kein anderes Modell gibt, das bei gleicher oder höherer Intelligenz günstiger ist, und auch keines, das bei gleichem oder niedrigerem Preis intelligenter ist.
    Die Charts von Artificial Analysis machen das anschaulich. Beispielsweise kann DeepSeek V4 Pro als Frontier-Modell gelten, weil es kein Modell gibt, das genauso intelligent und zugleich günstiger ist. Lösungen auf der Pareto-Frontier sind die besten ihrer Gewichtsklasse: Man kann sie nicht durch eine bessere Alternative ersetzen, ohne an anderer Stelle etwas aufzugeben.
  • Diese Verwendung ist verwirrend, daher fällt Zustimmung schwer, aber allgemein kann es mehrere Frontiers geben; die Frontier kleiner lokaler Modelle mit offenen Gewichten halte ich dabei für die wichtigste und interessanteste.
    Jedes Mal, wenn ich Gemma 4 12B nutze, habe ich den Eindruck, dass die Energie der KI-Branche völlig in die falsche Richtung fließt, obwohl es klein, clever und effizient ist. Wenn Forschungsgelder auf die Verbesserung von Modellen konzentriert würden, die auf Systemen mit 16 GB Unified Memory laufen, wären wichtige Fortschritte möglich.
    Qwen 3.6 und BottleCaps 27B-Finetunes sind ebenfalls gut, aber die erstaunliche Leistung der kleinen Gemma-4-Modelle ist noch nicht ausreichend bekannt. Dass diese Website Qwen 3.6 27B als Frontier bezeichnet, wirkt zwar unpassend, ist leistungsmäßig aber nicht völlig abwegig.
  • Frontier wird als optimale Kombination über mehrere Dimensionen hinweg definiert: Anzahl der Parameter, aufgabenspezifische Leistung, Tokengenerierungsgeschwindigkeit auf derselben Hardware, aktiver Speicherbedarf usw. Ein Modell gehört zur Frontier, wenn sich unter den aktuellen Optionen eine Kennzahl nur verbessern lässt, indem mindestens eine andere schlechter wird.
  • Frontier ist eine Kurve und meint die Pareto-Front.
  • Die Lücke zwischen Open Source und Spitzenniveau schrumpft mit Modellen wie Kimi K3, aber Kimi K3 hat mehr als zwei Billionen Parameter. Gemma 4 und Ähnliches, das man tatsächlich auf einem normalen Mac laufen lassen kann, spielt nicht in derselben Klasse.

• Es überrascht, dass die Homepage so tut, als gäbe es bestehende Apps wie LM Studio nicht. Auf den ersten Blick ist unklar, was anders ist, und Open WebUI fehlt ebenfalls.
  Ich lasse DeepSeek V4 Flash seit Wochen lokal auf einem MacBook Pro mit Open WebUI und DS4 laufen.

  • LM Studio ist Closed-Source-Software, die auf Code basiert, den der Nativ-Entwickler veröffentlicht hat.
  • LM Studio macht dasselbe, ist aber nicht Open Source. Insofern gibt es durchaus ein Unterscheidungsmerkmal, das Nativ bietet.
  • Die Formulierung „andere lokale KI-Apps, von denen man gehört hat, sind proprietäre Shells auf Open-Source-Engines, die sie nicht besitzen“ ist eine indirekte Spitze gegen LM Studio.
  • Mich würden die Spezifikationen des MacBook interessieren. Auf meinem Strix Halo ist DeepSeek V4 Flash für Agenten-Anwendungen zu langsam.

• Frontier ist inzwischen so ein überstrapaziertes Wort wie load-bearing, das Claude-Code-Nutzer kennen dürften. Besonders diese App kann die tatsächlich besten Modelle nicht lokal auf einem Mac ausführen, also sollte man damit aufhören.

• Marketing-Sprüche wie „Warum wir Open Source sind, wenn es sonst niemand ist“ gefallen mir nicht. Ich nutze oMLX, das Open Source ist und offenbar alle Funktionen von Nativ bietet.
  Ich würde mir einen ordentlichen Vergleich mit bestehenden Open-Source-Konkurrenten wünschen, statt so zu tun, als gäbe es sie nicht.

  • Vermutlich wollten sie sagen, warum Optionen wie LM Studio nicht Open Source sind.

• Ich frage mich, wofür man kleine lokale Modelle tatsächlich einsetzt. Sie sind ziemlich leistungsfähig geworden, aber abgesehen von ein paar Spielzeugprojekten zum Spaß fällt es mir noch schwer, ihnen echte Arbeit anzuvertrauen.
  Mich interessiert, ob sie tatsächlich für Coding Agents verwendet werden oder eher für andere Zwecke.

  • Ich habe schon einmal von Qwen3.6 27B generierten Code aus OpenCode in Produktion deployt. Der Wissensumfang ist nicht so breit wie bei Opus, aber wenn sich die Änderungen allein aus Prompt und umliegendem Code vollständig erschließen lassen, funktioniert es sehr gut.
    Code, der Fachwissen erfordert, etwa eine High-Performance-Inference-Engine für Blackwell-GPUs, lässt sich damit schwer von Grund auf schreiben, aber typische PRs, die einem bestehenden Projekt einen Use Case hinzufügen, liegen ungefähr auf Sonnet-Niveau. Dafür braucht es die richtige Konfiguration: empfohlene Temperature- und Top-p-Einstellungen, nicht zu aggressive Quantisierung und mindestens 150.000 Token Kontext.
  • Ich nutze Gemma 4 lokal für die Extraktion von Memory-Graphen eines persönlichen Agents. Nachrichten werden in Themen, Quellen, Fakten, Entitäten usw. zerlegt und in einen Graphen für die Suche per NLEmbeddings eingespeist.
    Der Ziel-Agent nutzt DeepSeek V4 Flash; als Chat-Agent ist das lokale Modell zu langsam, aber für die Memory-Extraktion funktioniert es ziemlich gut und reduziert den API-Verbrauch pro Gesprächsrunde.
  • Als Coding Agent nutze ich sie nicht, aber für Texttransformation, Zusammenfassung und Informationsextraktion sind sie sehr nützlich. Wenn man ohnehin schon ein kostenpflichtiges Modell abonniert hat, gibt es außer Datenschutz vielleicht keinen besonderen Vorteil, aber auch das sollte man nicht unterschätzen.
  • Auch kleine Modelle erledigen Routineaufgaben wie Dependency-Updates, das Auflösen von Merge-Konflikten, --help, Markdown oder das Schreiben von READMEs ausreichend gut. Wenn es scheitert, kann man mit git restore zurücksetzen oder den PR ablehnen und die Aufgabe einem besseren Modell erneut geben.
  • Qwen35ba3b kann auch auf vergleichsweise gewöhnlicher Hardware umfangreiche Datenbereinigung durchführen. Mit zwei 3090-GPUs habe ich bereits rund 100 Milliarden Token verarbeitet.

• Ich frage mich, was daran besser ist als an LM Studio, und ob es auch MTP-Modelle ausführt. Soweit ich weiß, liegen MTP-Modelle im GGUF-Format vor.

• Ich habe MLX mit Rapid MLX ausprobiert, aber Qwen brach ständig ab und wiederholte denselben Inhalt. Nach dem Wechsel zu llama.cpp war die Token-Generierung mit MTP schneller und das Modell stabiler.
  Mich interessiert, welche Ergebnisse andere beim Vergleich von MLX und llama.cpp erzielt haben.

  • Auf einem M1 Max habe ich kaum Vorteile von MLX gesehen. Durch Änderungen an der Apple Neural Engine könnten die Gewinne ab M3 größer sein.
    Bei den von mir getesteten Modellen war die GGUF-Performance von llama.cpp teils besser. MTP bei Gemma 4 brachte kaum Mehrwert, bei Qwen 3.6 MoE war aber ein messbarer Unterschied zu sehen, und auf aktueller Hardware könnte das relevanter sein.
  • Ich habe MLX zu zwei verschiedenen Zeitpunkten getestet, aber jedes Mal zeigte es eine deutlich niedrigere Performance als llama.cpp.

• Ich frage mich, welche mittelklassige Mac-Konfiguration für diesen Zweck geeignet wäre. Ich schwanke zwischen einem 64GB M5 Pro und einem günstigen M5 Air plus Cloud-Token-Kosten.
  Statt 2.000 bis 3.000 Dollar mehr auszugeben, nur um lokal Modelle mit niedrigerer Leistung laufen zu lassen, könnte man eine beträchtliche Menge Cloud-Token kaufen.

  • Selbst auf einem M1 Max mit 64GB lassen sich viele dieser Modelle ausführen.

• Ich frage mich, warum man DeepSeek V4 nicht auf ds4 ausführt. Die Ergebnisse dürften ziemlich gut sein.

  • Nativ scheint SSD-Streaming wie DwarfStar nicht zu unterstützen.