apfel – ein Tool, das die bereits in den Mac integrierte kostenlose KI nutzbar macht
(apfel.franzai.com)- Open-Source-Tool, das die Apple On-Device-LLM direkt nutzbar macht, die in Apple Silicon Macs mit macOS 26 oder neuer enthalten ist
- Öffnet das auf FoundationModels.framework basierende Modell als CLI, HTTP-Server und interaktiven Chat und ist mit der OpenAI API kompatibel
- Alle Berechnungen werden lokal verarbeitet, daher 0 Kosten, kein Risiko für Datenabfluss, dazu 4096 Token Kontext und mehrsprachige Unterstützung
- Unterstützt mit verschiedenen Hilfstools wie cmd, oneliner, explain, gitsum die Zusammenfassung von Code und Befehlen sowie Automatisierung
- Öffnet das bereits in macOS vorhandene Apple-Intelligence-Modell vollständig, sodass Entwickler KI unabhängig auf ihrer eigenen Hardware ausführen können
Überblick über apfel
- apfel ist ein Tool, das die direkte Nutzung der in Apple Silicon Macs mit macOS 26 (Tahoe) oder neuer integrierten Apple On-Device-LLM ermöglicht
- Das auf FoundationModels.framework basierende Sprachmodell, das Apple bisher nur eingeschränkt für Siri und Systemfunktionen nutzte, wird als CLI, HTTP-Server und interaktiver Chat geöffnet
- Bietet 100 % On-Device-Ausführung, 0 Kosten und OpenAI-API-Kompatibilität
- Kann per Homebrew installiert werden und wird als Open Source unter der MIT-Lizenz verteilt
Hauptmerkmale
- On-Device-AI-Nutzung: Verwendet das in macOS enthaltene LLM direkt, ohne Netzwerkaufrufe oder API-Schlüssel
- Sicherheit: Alle Token werden lokal verarbeitet, sodass keine Daten nach außen übertragen werden
-
Leistungsspezifikationen
- etwa 3 Milliarden Parameter
- 4096-Token-Kontextfenster
-
gemischte 2-/4-Bit-Präzisionsquantisierung
- Ausführung auf Basis der Neural Engine
- Unterstützt Englisch, Deutsch, Spanisch, Französisch, Italienisch, Japanisch, Koreanisch, Portugiesisch und Chinesisch
Nutzungsarten
-
CLI-Tool
- UNIX-artiges Kommandozeilen-Tool mit Unterstützung für stdin/stdout, JSON-Ausgabe, Dateianhänge und korrekte Exit-Codes
- Kann mit
jq,xargsund Shell-Skripten kombiniert werden - Beispiel:
$ apfel "What is the capital of Austria?" The capital of Austria is Vienna.
-
OpenAI-kompatibler Server
- Arbeitet auf
localhost:11434als OpenAI-API-Ersatzserver - Unterstützt Streaming (SSE), Tool Calling, CORS, response_format: json_object usw.
- Kann mit demselben Code genutzt werden, wenn in der OpenAI-SDK nur
base_urlgeändert wird - Beispiel:
client = OpenAI(base_url="http://localhost:11434/v1", api_key="unused")
- Arbeitet auf
-
Interaktiver Chat
- Unterstützt Multi-Turn-Gespräche, automatisches Kontextmanagement, System-Prompts und fünf Trimming-Strategien
- Beispiel:
$ apfel --chat -s "You are a coding assistant" > How do I reverse a list in Python?
Interne Struktur
- Direkter Zugriff auf die von Apple integrierte LLM über FoundationModels.framework
- Das Modell, das Apple bisher nur in Siri, Writing Tools usw. nutzte, wird von apfel als Swift-6.3-Binärdatei um
LanguageModelSessiongekapselt und über eine direkte Zugriffsschnittstelle bereitgestellt - Enthält einen integrierten HTTP-Server auf Basis von Hummingbird
- Um die 4096-Token-Grenze auszugleichen, sind fünf Kontext-Trimming-Strategien und präzises Token-Counting enthalten
- Konvertiert das OpenAI Tool Schema in Apples Format Transcript.ToolDefinition
Enthaltene Hilfstools
-
cmd
- Wandelt natürliche Sprache in Shell-Befehle um
- Beispiel:
"find all .log files modified today"→ tatsächliche Befehlsausgabe
-
oneliner
- Erstellt aus natürlicher Sprache Pipelines mit awk, sed, sort, uniq usw.
-
mac-narrator
- Beschreibt Systemaktivitäten des Macs in Form einer Erzählung
-
explain
- Erläutert Befehle oder Codefragmente in Klartext
-
wtd
- Fasst die Codebasis des aktuellen Verzeichnisses zusammen
-
gitsum
- Erstellt eine Zusammenfassung der letzten git-Commits
Vollständige OpenAI-API-Kompatibilität
- Unterstützt wichtige Endpunkte wie /v1/chat/completions und /v1/models
- Parameter wie temperature, max_tokens und seed können verwendet werden
- Unterstützt CORS für Browser-Clients
- Kann auf die gleiche Weise mit OpenAI SDK, LangChain, LlamaIndex usw. integriert werden
GitHub-Beliebtheit und Bereitstellung
- Verzeichnet 1.030 Stars und 27 Forks
- Am 3. April 2026 an einem einzigen Tag um 818 Stars gewachsen
- Von Engineers bei Apple, Google, VMware, NVIDIA und Grafana mit Stars versehen
- Installationsbefehl:
$ brew install Arthur-Ficial/tap/apfel $ apfel "Hello, Mac!" - Für den Build aus dem Quellcode wird das macOS 26.4 SDK benötigt
Erweiterungsprojekte
-
apfel-gui
-
macOS-GUI auf SwiftUI-Basis
- Bietet Chat mit Apple Intelligence, Request-/Response-Logs sowie Sprach-Ein- und -Ausgabe
- Erscheint demnächst
-
-
apfel-clip
-
KI-Aktionstool auf Clipboard-Basis
- Führt Funktionen wie Grammatikprüfung, Übersetzung, Code-Erklärung und Zusammenfassung mit einem Klick über die Menüleiste aus
- In Entwicklung
-
Technische Zusammenfassung
- Hardware: Apple Silicon (Neural Engine + GPU)
- Modell: in macOS integrierte Apple-LLM
- SDK: FoundationModels.framework
- Sprache: Swift 6.3, Xcode nicht erforderlich
- Lizenz: MIT
- Token-Fenster: 4096 (Eingabe + Ausgabe zusammen)
- Anzahl der Modelle: fest 1
Kernwert
- Öffnet das bereits in macOS vorhandene Apple-Intelligence-Modell vollständig
- Bietet eine kostenlose lokale KI-Umgebung, damit Entwickler und Nutzer KI direkt auf ihrer eigenen Hardware ausführen können
- Eine Mac-exklusive Open-Source-KI-Schnittstelle, die Sicherheit, Geschwindigkeit und Unabhängigkeit zugleich bietet
5 Kommentare
Klingt interessant, aber aus irgendeinem Grund funktioniert Koreanisch nicht besonders gut.
Ich habe den Quellcode heruntergeladen und schaue ihn mir zusammen mit Codex genauer an, aber schon die Antworten des Foundation Models auf Koreanisch wirken seltsam.
Ich werde noch ein bisschen weiterprobieren; falls es bei jemandem funktioniert hat, sagt bitte in den Kommentaren Bescheid, haha
Hm, geht also nicht? Dachte ich erst, aber das hier funktioniert.
Irgendwie scheint die Guardrail-Konfiguration merkwürdig eingestellt zu sein.
Ich habe Codex gebeten, das auf Basis dieses Gesprächsinhalts anzupassen, und mit einer kleinen Korrektur funktioniert es gut.
„Befolge die Anforderungen der Frage genau so, aber antworte direkt auf Koreanisch, sofern nichts anderes angegeben ist.“
Wenn man einen Adapter dazwischenschaltet und bei solchen intelligenten Funktionsantworten zusätzlich den obigen Prompt anhängt, kommen gute Antworten heraus. Es wirkt, als wäre das Ganze noch nicht ganz ausgereift.
Bevor ich es ausprobiert habe, war ich etwas skeptisch, welchen Vorteil es im Vergleich zu anderen Tools haben sollte, mit denen sich lokale LLMs wie ollama betreiben lassen. Nachdem ich es tatsächlich selbst verwendet habe, wirkt es aber ziemlich halluzinationsanfällig und etwas dumm.
Allerdings nutzen andere lokale LLM-Tools zwar die GPU und sind dadurch leistungsstark, verbrauchen dafür aber auch viele Ressourcen. Dieses Modell scheint dagegen vergleichsweise ressourcenschonend zu sein, den Neural Engine gut zu nutzen und dadurch auch weniger Strom zu verbrauchen. In dieser Hinsicht sehe ich also durchaus einen Vorteil.
Soweit ich weiß, ist das Konzept von Apple Intelligence selbst, leichte AI auf verschiedenen Geräten einschließlich mobiler Geräte laufen zu lassen, und zu diesem Konzept passt es wohl ganz gut.
Trotzdem denke ich, dass die Leistung selbst für ein leichtgewichtiges Modell besser sein müsste, damit es auch nur ein bisschen nützlicher einsetzbar ist. Im Moment ist es einfach zu dumm.
Hacker-News-Kommentare
Mir gefällt der Ansatz, alles lokal auszuführen
Ich denke, die Bedeutung lokaler Modelle wird aus Datenschutzsicht immer weiter zunehmen
Je mehr Fälle es gibt, in denen Menschen zu viele Kontextinformationen an Cloud-Modelle weitergeben und dadurch Probleme entstehen, desto stärker wird die Notwendigkeit lokaler Ausführung werden
Wenn ein Modell geschlossen trainiert wird, können darin Wertevorstellungen stecken, die Nutzer nicht wollen
Fragt man zum Beispiel ein chinesisches Open Model nach dem Tiananmen-Massaker, bekommt man zensierte Antworten
Die echte Lösung ist daher die Kombination aus verifizierbar offenem Training und lokaler Ausführung
Wer externe Daten verarbeitet, etwa beim Web-Crawling oder bei der Spam-Erkennung, riskiert ToS-Verstöße oder sogar falsche Meldungen an Strafverfolgungsbehörden
Wenn ich alltägliche Gespräche mit einem Modell führe, möchte ich deren Inhalt nicht im Klartext an einen Server schicken
Deshalb bevorzuge ich die lokale Ausführung
Anthropic, Google, OpenAI und andere haben bei Consumer-AI-Plänen die Privatsphäre aufgegeben
Der Grund sind Datensammlung und Moderation
Mit Technologien für kryptografische Garantien (cryptographic attestation) wie AWS Nitro Enclaves ließen sich persönliche Daten aber auch in der Cloud ausreichend schützen
Entscheidend ist, ob Apple kontinuierlich neue Modelle ausliefern kann
Das aktuelle Modell liegt auf dem Niveau von Qwen-3-4B und ist ein Jahr alt
Auf der Apple-Foundation-Models-Forschungsseite sieht man, dass zu aktuellen Modellen wie Qwen-3.5-4B oder Gemma 4 ein deutlicher Abstand besteht
Schön ist, dass man es sofort ohne Download nutzen kann, aber ich möchte aktuelle Modelle verwenden
Apple ist allerdings kein Unternehmen, das sich schnell bewegt, und wird AI-Funktionen wohl auf begrenzte Bereiche beschränken, etwa Fotokorrektur oder Siri-Fragen
Persönlich finde ich auch dann noch viele nützliche Funktionen, wenn Apple Intelligence deaktiviert ist
Ich habe Projekte gesehen, die Apple-Modelle als Netzwerkserver bereitstellen
Das Problem ist, dass solche Server über lokale Ports auch für andere Apps wie den Browser erreichbar sind
Das JavaScript einer bösartigen Webseite kann Befehle an diesen Port schicken
Einige Projekte erlauben sogar CORS und sind dadurch noch riskanter
Ich prüfe auch den Apfel-Code, bevor ich experimentiere
Es bleibt zwar eine Footgun-Option, ist aber dennoch eines der sichersten Projekte, die ich bisher gesehen habe
Deshalb frage ich mich, worin hier konkret das Bedrohungsmodell besteht
Selbst erfahrene Engineers übersehen diesen Angriffsvektor
Wegen eines kürzlichen Claude-Bugs, durch den Tokens viel zu schnell verbraucht wurden, habe ich andere Modelle ausprobiert
Die meisten waren weitgehend austauschbar
Ich frage mich, wie sich ein Markt mit geringer Markenloyalität und niedrigen Wechselkosten entwickeln wird
Ich hoffe, dass lokale LLMs bald zu einer praktikablen Alternative werden
Deshalb scheinen OpenAI und Meta zu versuchen, sich über emotionale Bindung (Freund-/Partner-Chatbots) zu unterscheiden
Ich habe es in einem anderen Thread gesehen und direkt installiert
Als LLM-Testprompt habe ich „Wie spät ist 9:30am in Taiwan in der US-Pacific-Zeit“ verwendet,
und alle Ergebnisse waren unterschiedlich und alle falsch
In der Ausführung über die Apfel-CLI berechnete jedes Modell einen anderen Unterschied von 11 bis 13 Stunden
Ich nutze es seit Anfang dieser Woche
Ich habe ein in der Cloud laufendes Backtesting-Tool für Preisprognosen mit lokalen Modellen verglichen,
und das Apple-Modell war in 6 von 10 Durchläufen am genauesten
Es ist auch schnell genug, um den gesamten Workflow zu ersetzen
Mit Sonnet kostet das mehrere tausend Dollar pro Monat, DeepSeek mehrere hundert Dollar, lokal ist es dagegen fast kostenlos
Allerdings fehlte es anderen lokalen Modellen an Geschwindigkeit oder Genauigkeit
Die Formulierung „Apfel entsperrt, was Apple hinter Siri weggeschlossen hat“ wirkt wie übertriebenes Marketing
Tatsächlich stellt es nur das FoundationModels-Framework von Apple Intelligence über CLI und REST API bereit
Auch die Behauptung, es laufe auf der Neural Engine, ist unklar
In meinen Tests lief es auf der GPU (Metal)
Ich bin Linux-Nutzer und wollte etwas Ähnliches, deshalb habe ich selbst ein Projekt namens TalkType gebaut
Es führt Whisper lokal aus und bietet dadurch Offline-Spracherkennung
Ich wollte meine Stimme nicht an einen Server senden und habe deshalb von Anfang an auf einen lokalen Ansatz gesetzt
Es freut mich, dass sich diese Idee nun auch auf dem Mac verbreitet
Danke, dass ihr es als Open Source veröffentlicht habt
Die Installation funktioniert auch unter macOS 15, aber beim Start bricht es ab,
deshalb habe ich einen PR eingereicht, damit die Installation nur unter macOS 26 (Tahoe) oder neuer möglich ist
Ich möchte eine Grammarly-Alternative bauen, die in allen Apps und Browsern Grammatikfehler unterstreicht
Das wäre ein vollständig datenschutzorientiertes Tool, das nicht einmal ein LLM braucht
Wenn das jemand baut, würde ich es auf jeden Fall benutzen