Apple genehmigt Treiber, der die Nutzung von Nvidia-eGPUs auf Arm-Macs ermöglicht

 (theverge.com)
4 Punkte von GN⁺ 25 일 전 | 1 Kommentare | Auf WhatsApp teilen
  • Dieser Treiber wurde nicht von Nvidia, sondern von Tiny Corp entwickelt und kann dank Apples Signaturfreigabe genutzt werden, ohne den System Integrity Protection (SIP) zu deaktivieren
  • Der Treiber muss direkt über Docker kompiliert werden und ist keine gewöhnliche Plug-and-Play-Lösung
  • Laut der Dokumentation von Tiny Corp ist dieser Treiber für die Ausführung von großen Sprachmodellen (LLMs) ausgelegt
  • Tiny Corp erklärt: „Apple hat sowohl Treiber für AMD als auch für Nvidia genehmigt“
  • Damit eröffnet sich auch für Nutzer von Arm-Macs die Möglichkeit, externe GPUs (eGPUs) zu verwenden
  • Dass Apple die Signierung von GPU-Treibern externer Entwickler erlaubt, gilt als äußerst seltener Fall
  • In der Vergangenheit war die Installation inoffizieller Treiber nicht möglich, ohne SIP zu deaktivieren
  • Mit dieser Genehmigung werden die Erweiterbarkeit der Mac-Hardware sowie die Nutzbarkeit für AI- und Machine-Learning-Workloads weiter gestärkt

Verwandte Beiträge

1 Kommentare

 
GN⁺ 25 일 전
Hacker-News-Kommentare

  • Technisch gesehen ein gutes Projekt, aber in der Praxis in 90 % der Fälle fast nutzlos
    Wenn man LLMs auf einer Nvidia-GPU laufen lassen will, ist es besser, einen gebrauchten PC zu kaufen, und wenn man einen Mac mit viel VRAM will, sollte man einfach einen Mac kaufen
    Der vorgeschlagene Ansatz wird durch den Thunderbolt-Port bei der GPU eingeschränkt, und auch der Zugang zu Nvidias Tools und Bibliotheken ist schwach
    Gleichzeitig entsteht ein unvollständiges System, das durch macOS-Updates kaputtgehen kann

    • Eine andere Methode ist, die Nvidia-GPU auf einer anderen Maschine im selben LAN per Netzwerk-Mount bereitzustellen
      Damit gibt es keine Thunderbolt-Bandbreitenbeschränkung, und CUDA-Aufrufe können unverändert verwendet werden
      Allerdings muss man sich im selben LAN befinden, und es gibt etwa 4 % Overhead
      Für Dienstreisen ist das unpraktisch, und die Treiberprobleme von macOS sind damit weiterhin nicht gelöst
      Ich arbeite bei GPU Go, daher könnte ich bei diesem Ansatz voreingenommen sein
    • Der Mangel an Nvidia-Tooling liegt auch daran, dass man die Hardware auf macOS bisher gar nicht nutzen konnte
      Jetzt, da es möglich ist, könnte sich die Lage künftig ändern
    • Ich hatte eGPU mit einer virtuellen GPU verwechselt, aber tatsächlich ist damit eine externe GPU gemeint

  • Ich verstehe nicht, warum auf einen Proxy-Link statt auf das Original verwiesen wird
    Das Original ist doch der tinygrad-Account auf X

    • Vermutlich wegen der Login-Schranke. X hat inzwischen viele Einschränkungen wie „Zum Lesen der Kommentare musst du dich anmelden“, und die Qualität der Seite ist gesunken
    • In letzter Zeit ist X doch oft die Originalquelle, oder nicht?

  • Soweit ich es verstanden habe, funktioniert das nur speziell für Tinygrad
    CUDA oder Vulkan mit PyTorch zu verwenden, ist nicht möglich
    Die zugehörigen Unterlagen stehen in der TinyGPU-Dokumentation

  • Apple hat seit 2018 die Signierung von Nvidia-eGPU-Treibern verweigert, und ich verstehe nicht, wie das der regulatorischen Beobachtung entgehen konnte

    • Ich frage mich, ob es Belege dafür gibt, dass Nvidia es tatsächlich versucht hat
      Seit macOS 10.13 waren Third-Party-Grafiktreiber nicht mehr erlaubt, aber bei Nicht-Grafiktreibern hätte es vielleicht möglich sein können
    • Vielleicht kümmert es die Behörden einfach nicht
      Es gab fast keine Macs, in die man eine Nvidia-GPU einbauen konnte, und inzwischen gibt es überhaupt keine Steckplätze mehr
    • Apple hat in keinem Markt eine Monopolstellung
    • Das ist ähnlich wie damals, als Google den YouTube-Client für Windows Phone blockierte
    • Reicht es nicht, einfach SIP zu deaktivieren?

  • Nachdem ich die Anleitung und die Skripte gelesen habe, wirkt es so, als würde die GPU an eine Linux-VM durchgereicht und dann an den Mac zurückgegeben
    Es sieht so aus, als hätte das TinyGrad-Team dafür eine Freigabe bekommen
    Vielleicht habe ich die Rolle von Docker aber auch falsch verstanden

    • Wenn man die TinyGPU-Dokumentation und den GitHub-Code ansieht,
      wird die Nvidia-GPU über Docker auf das passende Compile-Target abgestimmt, während AMD unter macOS ein eigenes LLVM baut und verwendet

  • Sowohl Apple als auch Nvidia verpassen wegen ihrer abschottenden Haltung gute Chancen
    Es wäre viel besser gewesen, wenn man Nvidia auf Mac-Hardware unter Linux hätte betreiben können
    Wir werden zu Verbrauchern, die selbst nach dem Kauf eines Produkts die Kontrolle verlieren

    • Deshalb kaufe ich einfach keine Apple-Produkte
      Auch außerhalb dieses Ökosystems funktioniert alles gut

  • Es gibt immer mehr Nutzer von ARM-Laptops, die ihre GPU remote betreiben
    Deshalb wird eine UX wichtig, bei der die GPU dem lokalen Workflow folgen kann
    Wir untersuchen bei GPUGo / TensorFusion gerade, wie sich ein lokal orientierter Entwicklungsfluss mit Remote-GPU-Zugriff verbinden lässt
    Ich frage mich, ob die Leute wirklich etwas wollen, das sich wie eine echte eGPU anfühlt, oder ob sie einfach Remote-Compute mit möglichst wenig Reibung nutzen möchten

    • Aber wenn beim Ausgeben von Bildern auf der GPU schon 100 ms Netzwerklatenz dazukommen, ist das problematisch

  • Ich bin gerade auf Reisen, habe aber zu Hause eine RTX 5090 und würde das damit gern testen
    Ich schaue mir die TinyGPU-Dokumentation an und hoffe, dass es auf einem M4 Mac Mini funktioniert
    Vermutlich brauche ich ein ATX-PSU für die Stromversorgung, aber ist mit tinygrad LLM-Inferenz möglich?

    • Auf AliExpress kann man für rund 100 Dollar ein GPU-Gehäuse kaufen
      Es verwendet ein Standard-PSU, aber der Mac Mini hat kein occulink, daher ist man durch die USB-C-Bandbreite begrenzt
      Wenn die Intel-Arc-Treiber stabil werden, könnte auch eine günstige GPU-Kombination interessant sein
      Die Intel Arc Pro B70 (32GB VRAM) kostet 1000 Dollar, der Mac Mini etwa 500 Dollar
    • Ich frage mich, wie sehr der schnelle VRAM der GPU den langsamen VRAM des Macs ausgleichen kann
      Wenn die Interconnect-Geschwindigkeit nicht hoch genug ist, könnten Layer-Wechsel zum Flaschenhals werden
    • Ich habe meine 5090 auch ungeöffnet im Karton gelassen und sie am Ende zurückgeschickt
      Eine ironische Situation: Geld ist da, aber keine Zeit, es zu nutzen

  • Interessant, aber CUDA oder nvidia-smi lassen sich nicht ausführen

    • Trotzdem ist das nicht überraschend, weil es auf ML-Bibliotheken anderer Unternehmen und nicht auf Nvidia basiert
      Eine CUDA-Kompatibilitätsschicht wäre schön, aber es ist schon ziemlich beeindruckend, dass Inferenz und Training mit einer eigenen Bibliothek laufen

  • Wenn der Mac Nvidia-Treiber unterstützt hätte, wären die Verkäufe des Mac Pro gestiegen

    • Dass Apple und Nvidia ihre offizielle Beziehung wiederhergestellt haben, ist eine große Sache
      Mehr als zehn Jahre lang hat Apple keine Nvidia-GPU-Treiber zugelassen
      Selbst 7 Jahre alte GPUs (z. B. VEGA64, RTX1080Ti) sind bei der Token-Verarbeitung schneller als die meisten Apple-Silicon-Systeme
      Apples MAX-/Ultra-Prozessoren eignen sich für große Modelle, sind aber nicht so schnell wie eine RTX5090