Apple-Silicon-Manager über die KI-Nachfrage nach dem Mac mini und die Zukunft von On-Device-AI

 (macrumors.com)
1 Punkte von GN⁺ 4 시간 전 | 1 Kommentare | Auf WhatsApp teilen
  • Mit der steigenden Nachfrage nach dedizierter Hardware, auf der sich KI-Agenten lange laufen lassen, rücken Mac mini und Mac Studio als Entwickler-Desktops in den Fokus
  • Agentische Workloads verlangen Systeme, die von der primären Arbeitsmaschine getrennt sind, direkt vom Nutzer kontrolliert werden und 24 Stunden am Tag, 7 Tage die Woche laufen können
  • Viele KI-Tools sind Mac-first oder Mac-only, und da Macs auch unter Entwicklern in Frontier-KI-Laboren immer verbreiteter werden, festigt sich die Stellung des Mac-Ökosystems
  • Brooks sieht agentische KI nicht als bloßes GPU-Problem, sondern als Frage des gesamten Chipdesigns, das LLM-Ausführung, Tool-Aufrufe und Workflow-Verarbeitung gemeinsam abdeckt
  • Apple verknüpft On-Device-AI mit Datenschutz, Sicherheit und Inferenzkosten und erwartet eine hybride Ausführung, bei der sich Gerät und Cloud die Aufgaben teilen

KI-Agenten-Nachfrage konzentriert sich auf Mac mini und Mac Studio

  • Doug Brooks, Senior Product Manager für Apple Silicon, sprach kurz vor der WWDC 2026 in einem Interview mit The Deep View über Apples Chipstrategie und die KI-Nachfrage
  • Apple beobachtet bei Mac mini und Mac Studio eine „incredible demand“
  • Für agentische Workloads sind folgende Bedingungen wichtig
    • ein System, das Nutzer direkt kontrollieren können
    • eine von der primären Arbeitsmaschine getrennte Umgebung
    • Hardware, die 24 Stunden am Tag und 7 Tage die Woche betrieben werden kann
  • Brooks bezeichnet den Mac mini unter diesen Bedingungen als „amazing system“
  • Viele KI-Tools werden als Mac-first oder Mac-only angeboten, und auch in Frontier-KI-Laboren sind Macs laut ihm weit verbreitet

Die On-Device-AI, auf die Apple Silicon zielt

  • Brooks betrachtet agentische KI nicht nur als GPU-zentrierte Aufgabe
    • Es reicht nicht aus, wenn die GPU nur die Ausführung des LLM übernimmt
    • Auch Tool-Aufrufe und begleitende Workflow-Aufgaben binden verschiedene Teile des Chips ein
    • Diese Struktur passt zu den Stärken von Apple Silicon
  • Apples KI-bezogene Stärken hängen mit Chipdesign-Entscheidungen zusammen, die noch vor dem Aufkommen von LLMs wie ChatGPT getroffen wurden
    • Die Neural Engine wurde für energieeffiziente Matrixberechnungen entwickelt
    • Weniger bekannte Neural-Network-Beschleuniger innerhalb der CPU verarbeiten zeitkritische Aufgaben wie Sprache
    • In jüngerer Zeit hat Apple auch der GPU Neural-Network-Beschleuniger hinzugefügt, um die KI-Leistung von Chips auf iPhone-Niveau bis hin zu großem Mac-Silizium zu skalieren
  • Apple hält an seinem Ansatz fest, Chips für bestimmte Maschinen zu bauen und Hardware und Software gemeinsam zu entwickeln
  • Die KI-Ausführung verlagert sich teilweise von der Cloud auf lokale Systeme; Brooks nennt dafür Datenschutz, Sicherheit und steigende Inferenzkosten durch den wachsenden Token-Verbrauch von Agenten als Gründe
  • Die künftige KI-Ausführung wird eher hybrid sein als vollständig lokal: Agenten entscheiden, welche Aufgaben auf dem Gerät verarbeitet und welche in die Cloud geschickt werden
  • Auf iPhone und iPad wird „transparent AI“ betont
    • Gemeint sind Funktionen, die im Betriebssystem und in Drittanbieter-Apps leise im Hintergrund arbeiten, ohne KI in den Vordergrund zu stellen
    • Als Beispiel wird der Bildgenerator Draw Things genannt, der auf iPhone, iPad und Mac läuft
    • Ebenfalls genannt wird SwingVision, das Tennis- und Pickleball-Spiele in Echtzeit mit der iPhone-Kamera analysiert
  • Brooks beschreibt das aktuelle Entwicklungstempo der KI als „just crazy“ und sagt, dass sich nicht nur ein Jahr im Voraus, sondern selbst drei Monate oder ein Monat im Voraus kaum vorhersagen lassen

Verwandte Beiträge

1 Kommentare

 
GN⁺ 4 시간 전
Hacker-News-Kommentare

  • Apple hat bisher kaum wirklich interessante AI-Erfahrungen geliefert, aber ich halte es trotzdem für gut möglich, dass das Unternehmen in 5 Jahren zum dominierenden Anbieter von AI wird
    Wenn es bei Chips oder Modellen, oder bei beidem, noch ein oder zwei Fortschritte gibt, könnte man selbst auf Apple-Geräten der Mittelklasse ziemlich gute lokale Modelle kostenlos laufen lassen; dann dürfte die Kombination aus Datenschutz, Kosten und Latenz für OpenAI/Anthropic/Google schwer zu schlagen sein
    Ich schreibe das auf, damit man mich in 5 Jahren dafür loben oder auslachen kann

    • Mir gefällt eher, dass Apple nicht sein gesamtes Geschäft AI-zentriert umbaut
      Inzwischen ermüdet mich das etwas. Bei der Arbeit nutze ich es aus praktischer Notwendigkeit, und dabei gehen die interessanten und spielerischen Seiten verloren; wenn ich es außerhalb der Arbeit genauso viel nutze, wird es wohl genauso enden
    • Es gibt zwei große Gründe, warum lokale Inferenz auf absehbare Zeit nur schwer mit der Cloud konkurrieren kann
      Erstens werden die meisten nützlichen LLM-Aufgaben parallel verarbeitet. Ein Mac Mini kann jeweils nur einen LLM-Inferenz-Thread ausführen, während in der Cloud Dutzende gestartet und effizient über ganze Hardware-Flotten verteilt gebatcht werden können
      Zweitens lässt sich schnellere Inferenz-Hardware wie von Cerebras oder Groq nicht lokal betreiben. Ein Vorteil von mehr als dem 5-Fachen beim Token-Durchsatz pro Thread ist schwer zu unterschätzen, und zusammen mit den Vorteilen mehrerer Threads ist das für lokale LLMs ein entscheidender Nachteil
      Lokale Inferenz hat trotzdem ihren Platz. Wenn man mit extrem sensiblen Dingen arbeitet oder unzensierte Modelle für sexuelle Unterhaltungen oder NSFW-Bilder nutzen will, ist lokal die einzige Option. Apple und andere Unternehmen werden weiterhin viele nützliche Aufgaben lokal ausführen, etwa Vorschläge zur Textbearbeitung, Spracherkennung, Sprachsynthese oder Bildbearbeitung, und je besser die lokale Hardware wird, desto besser werden auch diese Funktionen
      Aber bei den meisten LLM-Aufgaben wird die Cloud sehr lange, vielleicht für immer, überlegen bleiben
    • Die subtile Machine-Learning-Integration in der Fotos-App ist ordentlich. Pflanzenerkennung, Gesichtserkennung, Hintergrundentfernung, OCR-Textsuche, sogar Handschriftensuche sind gut umgesetzt
    • Noch vor komplett lokal oder komplett online kommt wohl erst hybrid
      Der lokale Teil übernimmt Dinge wie Computersteuerung oder Delegation, während Online-Modelle Aufgaben übernehmen, die starke Inferenz, Planung und Wissenszugriff brauchen. Ich würde mich freuen, wenn ich falsch liege, aber ich denke, Modelle wachsen schneller als Hardware
    • Im April 2023 habe ich geschrieben: „Wir sollten uns alle einen voll ausgestatteten Mac Studio kaufen, mit 128 GB RAM, 20 CPU-Kernen sowie vielen GPU- und Neural-Kernen“
      Wir sind zugleich zu spät und zu früh
      https://news.ycombinator.com/item?id=35527692

  • Wenn Apple Private Cloud Compute als dedizierte Ausführungsumgebung für einzelne Personen konzipieren würde, könnten sie wohl sogar Maschinen ab 10.000 Dollar verkaufen
    Es bräuchte am Ende einen Weg hinunter zu 2.500-Dollar-Geräten, aber so eine Nische dürfte außer Apple kaum eine Consumer-Marke bedienen können
    [1] https://security.apple.com/blog/private-cloud-compute/

    • Von den ausverkauften M3 Ultra Mac Studio-Modellen werden Varianten mit über 800 GB/s Speicherbandbreite auf eBay für 24.000 Dollar gehandelt, also ist das durchaus möglich
    • Als iCloud Drive in Entwicklung war, habe ich Apple einmal über einen Vertriebsmitarbeiter, der uns intern eine medizinische iPad-App vorstellte, gebeten, so etwas für iCloud anzubieten
      Für einen rackmontierbaren Mac Pro, auf den „verwaltete“ Geräte zeigen könnten, hätte ich ohne Weiteres 50.000 Dollar bezahlt, aber Apple hat diesen Bedarf überhaupt nicht verstanden
    • Früher haben Kollegen und ich bei jeder neuen Mac-Veröffentlichung gern die teuerste Konfiguration zusammengestellt
      Zeitweise kam man leicht auf sechsstellige Dollarbeträge, aber mit der Zeit ist das immer weiter gesunken
    • Apple ist gegenüber professionellen Nutzern ziemlich feindselig, daher glaube ich das nicht
    • Das geht eher in Richtung Enterprise. Für eine 10.000-Dollar-Maschine im Personal Computing kann ich mir kaum einen sinnvollen Anwendungsfall vorstellen

  • Wenn man Software wie Claude Code oder openclaw nur mit LLM-APIs oder Abos nutzt, ohne lokale Modelle laufen zu lassen, und eigentlich nur den lokalen Dateisystemzugriff und den immer aktiven Workflow eines „zweiten Gehirns“ will, bin ich nicht sicher, ob man dafür wirklich einen Mac mini braucht
    Das müsste doch auch auf einem Raspberry Pi oder einem alten Laptop laufen; ich frage mich, ob das schon jemand tatsächlich ausprobiert hat

    • Ich verstehe den Hype um den Mac mini nicht so ganz
      Vermutlich ist es eines von zwei Dingen. 1) Leute hören „Mac ist gut für AI“, kaufen einen und lassen die eigentliche Inferenz dann über Claude laufen, ohne zu wissen, dass man die Anthropic-API mit Internetverbindung auch von einem Föhn aus aufrufen könnte. 2) Sie wollen, dass ihr Agent blaue iMessage-Sprechblasen hat
      Dass normale Leute so viel On-Device-Inferenz machen, dass der Mac Mini ausverkauft ist, erscheint mir schwer glaubhaft, und selbst wenn das so wäre, ist der Mac mini dafür keine besonders gute Plattform
    • Nur für diesen Zweck braucht man keinen Mac Mini, aber der Preis war ziemlich niedrig und die Qualität gut
      Die Käufer schöpfen die Leistung vielleicht nicht aus, legen aber mehr Wert auf Komfort als auf das absolut Billigste
      Wenn man davon ausgeht, dass man ihn lange nutzt und auch für andere Dinge einsetzt, lässt sich das bis zu einem gewissen Grad rechtfertigen
    • Weil man auf dem Mac mini per iMessage Textnachrichten verschicken kann. Das ist der ganze Grund
    • Genau. Für Dinge wie das Starten eines Browsers hilft etwas Leistungsreserve, aber wenn man ein wenig Geld ausgeben will, funktionieren auch generalüberholte Geräte oder Mini-PCs wie von Minisforum oder GMKTec völlig ausreichend
      Beim Arbeitsspeicher sind mindestens 16 GB sinnvoll, besser noch 32 GB
    • Wenn man nur openclaw und APIs nutzt, braucht man keinen großen PC
      Ich lasse leichte Sachen auf einem RPI4 mit 8 GB laufen. Viele Leute betreiben lokale LLMs, und dafür ist ein Mac nützlich. Ehrlich gesagt ist es schwer, das Preis-Leistungs-Verhältnis eines OpenRouter-Abos plus API-Aufrufen zu schlagen

  • Wenn ich das Kapital hätte, würde ich gern eine Heim-Inference-Appliance bauen
    Außer Ethernet gäbe es keine Peripherie, nur eine integrierte Recheneinheit aus CPU+GPU+Speicher, Massenspeicher, Mainboard und Netzteil. Also nur die minimale Hardware, die nötig ist, um Modelle wie ein Utility ohne Schnickschnack laufen zu lassen
    Ideal wäre auch ein Frontpanel-Display, das wie bei alten Hi‑Fi-Stereoanlagen den Status anzeigt
    Ergänzend gedacht wäre das als eine Art Modulserie aus RISC-V-CPU + Vortex-GPGPU + Speicher

    • Im Winter könnte man damit das Haus heizen und im Sommer den Pool aufwärmen
    • Das klingt so, als wäre es nur ein Mac mini/Studio mit leicht verändertem Gehäuse
    • Ist das nicht genau das, was George Hotz bei tiny macht? https://tinycorp.myshopify.com/
    • Am nächsten an so etwas dran ist unter den existierenden Lösungen wohl der von Taalas entworfene LLM-ASIC
      https://taalas.com/products/
      Leider ist der Chatbot dieser Firma erstaunlich schnell, aber über die Firma selbst erfährt man praktisch nichts
      Jedenfalls wäre ein ASIC, der Diffusions-Sprachmodelle lokal ausführt, keine schlechte Idee. Selbst wenn er irgendwann veraltet ist, ist das immer noch besser, als alles Firmen zu überlassen, die mit Venture Capital betrieben werden und in Zukunft verschwinden könnten oder, schlimmer noch, den Markt beherrschen und beliebige Preise verlangen
    • Ich beobachte für diesen Zweck Tenstorrent
      Preislich dürfte das irgendwo zwischen Plattformen mit hochintegriertem Speicher und zweckoptimierten GPUs liegen
      Es liegt an der Grenze dessen, was für den Heimgebrauch noch sinnvoll ist, aber es ist interessant

  • On-Device-Modelle auf dem Mac laufen zu lassen, ist ziemlich lästig
    Schon herauszufinden, was überhaupt funktioniert — BF16, FP8, BF16+FP8, NVFP4, INT8, GGUF usw. — ist wohlwollend gesagt alles andere als eindeutig. Apple bietet kaum Tool-Support. Es gibt MLX, aber wenn man Modelle nicht selbst in dieses Format umwandeln will, hinkt man ziemlich hinterher
    Apps wie LM Studio, Ollama und Draw Things vereinfachen viel, aber es bleibt trotzdem umständlich

    • Ich weiß nicht genau, was daran umständlich sein soll. Das ist einfach ein Lernprozess, und nach ein, zwei Tagen hat man sich daran gewöhnt
      Man scheint vergessen zu haben, dass in den letzten 50 Jahren alle möglichen Aufgaben am Computer langweilig, komplex und allein schon zeitaufwendig waren, bis sie überhaupt liefen. Mein erster Computer hatte 48 KB RAM, und um ein Spiel zu starten, musste ich es fünf Minuten lang von Kassette laden. Das war lästig
      Dagegen ist es mit LM Studio sehr einfach und wenig anstrengend, ein Modell herunterzuladen, zu laden, damit zu chatten oder einen Agenten daran anzubinden
    • Ich nutze LM Studio ziemlich häufig, und das MLX-Team sowie die Community stellen normalerweise innerhalb von ein bis zwei Tagen nach einem neuen Modell-Release eine MLX-Version bereit
    • Mich würde interessieren, welche Probleme du hast. Ich lasse lokal mehrere Qwen Coder-next-Agenten laufen, und das funktioniert gut
    • Ein Modell nach MLX zu konvertieren bedeutet buchstäblich nur git clone und dann mlx_lm.convert auszuführen
      Nach dem Klonen ist das eine Sache von fünf Minuten
    • Umgekehrt bin ich mit diesem lokalen LLM von antirez, bekannt durch Redis, sehr zufrieden
      [1] https://github.com/antirez/ds4

  • Der eigentliche Punkt ist nicht AI-Inferenz, sondern Tool Calling, Arbeit in Desktop-GUI-Apps und das Ausführen eines Browsers
    Es gibt noch kein On-Device-Modell, das auf einem günstigen Mac Mini für echte Arbeit ausreichend wäre. Aber für ein paar Browser und GUI-Apps ist ein Mac Mini viel sinnvoller, als Geld für teurere und leistungsschwächere Container in der Cloud auszugeben
    Browser sind nicht dafür gemacht, in Linux-Containern zu laufen, und funktionieren auf einem Desktop-OS auf Bare Metal am besten. Der M4 Mac Mini hat gemessen an der Single-Core-Leistung pro Dollar, also nach Geekbench-Punkten, eine bessere Single-Core-Performance als jede VM, die man in der Cloud mieten kann

    • Zum ursprünglichen Preis waren Bündel zu vier Stück eine sehr gute Lösung für Anforderungen an Tokens pro Sekunde pro Dollar

  • Der Einreichungslink hätte dieser Original-Editorial-Artikel sein sollen
    https://www.thedeepview.com/articles/how-apple-s-decade-long...

  • Die Aussage „Laut Doug Brooks, Senior Product Manager für Apple silicon, sind Apples Mac mini und Mac Studio zu den bevorzugten Maschinen für den Betrieb von AI-Agenten geworden“ ist größtenteils ein US-Phänomen
    In meinem Umfeld gibt es keine Mac minis oder Mac Studios, nur ThinkPad- und MacBook-Laptops, die an Hyperscaler angeschlossen sind

    • Ich weiß nicht, welches Umfeld du meinst. Im Vereinigten Königreich sind die Strompreise absurd hoch, deshalb ist das eine ziemlich beliebte stromsparende Option für lokale LLMs
      Wenn man nicht in der lokalen LLM-Szene unterwegs ist, sieht man das natürlich nicht. Das ist ungefähr so, als würde man sagen: „Hier ist Tennis nicht populär“, obwohl man nie auf einen Tennisplatz geht

  • So wie Leute Dieselautos gekauft haben, weil sie sparsamer als Benziner waren, kaufen viele in mehreren Ländern wegen der sehr hohen Strompreise Geräte mit Apple Unified Memory, weil die Betriebskosten niedriger sind als bei Nvidia-Konfigurationen
    Wenn es mehr Non-Apple-Optionen mit Unified Memory gibt, werden viele Menschen eher diese wählen

  • Dieser Artikel ist eine Umarbeitung von https://www.thedeepview.com/articles/how-apple-s-decade-long...