- Um den Aufwand für den Aufbau einer lokalen AI-Entwicklungsumgebung zu reduzieren, bündelt Ryzen AI Halo einen Ryzen AI Max+ 395 Mini-PC mit ROCm, Treibern, Modellen und Entwicklungstools
- Die einzige Konfiguration besteht aus einer Zen-5-CPU mit 16 Kernen/32 Threads, integrierter Radeon-8060S-GPU, XDNA-2-NPU, 128 GB LPDDR5x-8000 Unified Memory und 2-TB-SSD; der Preis liegt bei 3.999,99 USD
- In llama-bench lag der Apple Silicon Mac Studio vor den Systemen mit Ryzen AI Max+ 395; insbesondere bei der Token-Generierung zeigte er wegen der Unterschiede bei der Speicherbandbreite in Gemma 4 eine 2- bis 3-mal höhere Leistung
- Halos Unterscheidungsmerkmal ist nicht ein neuer Prozessor, sondern ein kompatibilitätsgeprüfter Ausgangspunkt wie das AMD Ryzen AI Developer Center, Best Known Configurations und AMD AI Playbooks
- Mit AMD Lemonade und FastFlowLM wurde gpt-oss-20b-FLM auf der XDNA 2 NPU ausgeführt; bei nahezu keiner CPU-/GPU-Auslastung wurden bis zu 35 W und eine Generierung von 20 tokens/s beobachtet
Mini-AI-Entwicklungskit auf Basis des Ryzen AI Max+ 395
- AMD Ryzen AI Halo ist ein kompakter PC rund um den Zen-5-basierten AMD Ryzen AI Max+ 395-Prozessor und soll den Einstieg in ROCm oder AI-Entwicklung auf AMD-Hardware erleichtern
- Der Prozessor hat 16 Kerne/32 Threads; die meisten AI-Workloads übernimmt die integrierte Grafik Radeon 8060S
- Auch die NPU, für die es früher nur wenige praktische Einsatzfälle gab, ließ sich in diesem Gerät tatsächlich nutzen
- Verkauft wird eine einzige Hardwarekonfiguration mit folgenden Kerndaten
- Herausnehmbare 2 TB M.2 SSD
- 128 GB LPDDR5x-8000 Unified Memory
- Speicherbandbreite von 256 GB/s
- 2 TB Speicherplatz reichen aus, um lokale Modelle vorzuhalten, und 128 GB Arbeitsspeicher lassen auch nach dem Laden einiger Modelle mittlerer Größe noch genug Raum für den Systembetrieb
- Der Verkaufspreis beträgt 3.999,99 USD; erhältlich ist eine einzelne Konfiguration mit vorinstalliertem Windows 11 Pro oder Linux
- Nutzer können nach Erhalt das gewünschte OS installieren, allerdings stellt AMD offenbar keine separaten werkseitigen Linux-/Windows-Images samt paketierten Treibern, Programmen und Modellen bereit
- Das Testgerät war die Linux-Version mit einer angepassten AMD-Linux-Distribution auf Basis von Debian 13.4
Kleines Chassis und Erweiterbarkeit
- Anders als die Marketingbilder vermuten lassen, ist Halo ein sehr kleines kastenförmiges Gerät mit einer Grundfläche von etwa 15 cm im Quadrat und weniger als 5 cm Höhe
- Das Gewicht beträgt 1,2 kg; für den Transport muss man aber auch das obligatorische 240-W-Netzteil berücksichtigen
- Power-Button und Ports befinden sich alle auf der Rückseite
- Vier USB-3.2-Type-C-Ports
- Ein HDMI-2.1-Port
- Ein 10GbE-Ethernet-Port
- Wi-Fi 7 und Bluetooth 5.4
- Der dem Power-Button nächstgelegene USB-C-Port ist nur für USB-C Power Delivery als Eingang vorgesehen
- Eine klare Stapelstruktur gibt es nicht, doch Eckfüße und Lufteinlässe an allen Seiten lassen Raum, mehrere Geräte etwa für getrennte Windows-/Linux-Nutzung oder einen Cluster zu stapeln
- Die Kühlung besteht aus zwei Blower-Lüftern, die Luft von oben und von den Seiten ansaugen, durch den Kühlkörper führen und nach hinten ausblasen
- Im Alltag ist das Gerät leise, doch wenn der interne Prozessor seine 120 W TDP abführen muss, kann die Lüfterdrehzahl steigen
- Der weiße Leuchtring an der Unterseite des Gehäuses pulsiert im Energiesparmodus blau; die Beleuchtung lässt sich ausschalten
Zerlegung und Innenaufbau
- Aufgrund der dicht gepackten Mini-PC-Konstruktion gibt es im Inneren nicht viel direkt zu inspizieren; nach dem Entfernen von vier Schrauben unter dem magnetisch abnehmbaren Fuß lässt sich jedoch die Bodenabdeckung öffnen
- Die M.2 2280 SSD ist ohne weitere Zerlegung leicht zugänglich
- Um die obere Schale zu entfernen und den Compute-Core freizulegen, müssen noch einige weitere Verbindungen getrennt werden
- Der Core selbst kann herausgenommen werden, doch für Nutzer gibt es daran nicht viel weiter zu verändern
- Die beim ersten Öffnen des unteren Gehäuses sichtbare Metallplatte lässt sich mit vier Schrauben lösen, wurde aber nicht entfernt, um das Wärmeleitmaterial nicht zu berühren
LLM-Leistung in llama-bench
- Der Ryzen AI Max+ 395 mit Codenamen Strix Halo ist bereits seit Frühjahr 2025 erhältlich, daher stellt Halo hier keine neue Leistung in den Vordergrund
- Andere Hardware mit demselben Prozessor sind Framework Desktop, Beelink GTR9 Pro, X+ Rival und ACEMAGIC M1A PRO
- Die Leistungstests dienten dazu, vor der Betrachtung der eigentlichen Softwarekonfiguration des Produkts zu prüfen, ob die erwartete Performance erreicht wird
- Getestet wurde vor allem mit llama-bench, das in llama.cpp enthalten ist
- llama.cpp ist eine Open-Source-Inferenz-Engine zum Laden und Ausführen großer Sprachmodelle im GGUF-Format
- llama-bench misst Prompt Processing (pre-fill) und Token Generation (decoding)
- Die Tokens-pro-Sekunde-Leistung von LLMs ist empfindlich gegenüber Kompatibilitätsunterschieden und Schwankungen; Ergebnisse sollten daher zusammen mit mehreren Quellen betrachtet werden
Ergebnisse des grundlegenden llama-bench-Tests
- Der Basistest nutzt die Konfiguration pp512/tg128 und simuliert eine Situation, in der der Nutzer 512 Tokens eingibt und das Modell 128 Tokens generiert
- Verwendet wurden drei zuletzt viel beachtete Modelle der 17- bis 32-GB-Klasse
- Qwen 3.6 35B A3B(Q4_K_M)
- Gemma 4 31B IT(IQ4_XS)
- GLM 4.7 Flash(Q8_0)
- Vergleichsgeräte waren
- AMD Ryzen AI Halo: AI Max+ 395, 128 GB
- Framework Desktop: AI Max+ 395, 128 GB
- M2 Ultra Mac Studio: 76-Core-GPU, 128 GB Unified Memory
- M3 Ultra Mac Studio: 80-Core-GPU, 512 GB Unified Memory
- Auf Halo und Framework Desktop kamen sowohl ROCm/HIP als auch die Vulkan-Runtime zum Einsatz
- Der Apple Silicon Mac Studio erzielte höhere Leistung als die Systeme mit AMD Ryzen AI Max+ 395; der Hauptunterschied ergibt sich aus der Speicherbandbreite von rund 800 GB/s beim Mac gegenüber 256 GB/s beim Max+ 395
- Beim Prompt Processing liegt meist eine stärkere Rechenlimitierung vor; beim Dense-Modell Gemma 4 fiel der Unterschied zwischen Apple Silicon und Max+ 395 kleiner aus, als ein reiner Vergleich der Speicherbandbreite vermuten ließe
- Beim Prompt Processing sparse Mixture-of-Experts-Modelle wie Qwen 3.6 35B A3B und GLM 4.7 Flash ist die Abhängigkeit von Rechenleistung geringer, sodass der Bandbreitenvorteil des Mac stärker sichtbar wird
- Token Generation ist im Allgemeinen deutlich stärker durch Speicherbandbreite begrenzt; bei Gemma 4 zeigten Apple-Silicon-Geräte eine 2- bis 3-mal höhere Tokens-pro-Sekunde-Leistung
- Zwischen Vulkan und ROCm/HIP gab es auf dem Ryzen AI Max+ 395 keinen eindeutigen Sieger
- Welches Backend schneller ist, hängt von Kompatibilität, Modellarchitektur, Kontextgröße, Hardware und Softwareoptimierung ab
- Beide Backends werden laufend aktualisiert
- Die Tests liefen mit aktiviertem Flash Attention, doch diese Einstellung garantiert nicht immer die beste Leistung; ein eigener Test auf dem jeweiligen System ist empfehlenswert
Größerer Kontext und Simulation agentischer Nutzung
- Da der Einsatz agentischer LLMs zunimmt, wurden zusätzliche llama-bench-Tests durchgeführt, um zu sehen, wie stark die Leistung bei wachsender Kontextgröße sinkt
- Der Test simuliert vereinfacht eine Situation, in der ein instruierter Agent Tools aufruft oder eine Antwort liefert
- Die wichtigsten Parameter sind
-p,-n: Anzahl der Tokens für Prompt Processing und Token Generation-b,-ub: Batch- und Microbatch-Größe-fa: Flash Attention aktivieren oder deaktivieren-ngl: Anzahl der auf die GPU auszulagernden Modell-Layer-r: Anzahl der Wiederholungen-d: Anzahl der bereits im Kontext befindlichen Tokens
- Um Wärmestau bei fortlaufenden Tests zu reduzieren, wurden Schleifen und Verzögerungen über ein eigenes Skript eingebaut
- Bei allen drei Modellen zeigte sich mit wachsender Kontextgröße ein deutlicher Leistungsabfall
- Gemma 4 wurde in Kombination aus Vulkan-Backend und 65.536-Token-Kontext innerhalb von 30 Minuten nicht fertig
Stromverbrauch und Temperatur
- Wegen des sehr kleinen Chassis wurde geprüft, ob Halo die maximale TDP des Ryzen-AI-Max+395-Pakets von 120 W und Boosts bis 140 W dauerhaft halten kann
- Zum Vergleich wurde auch der Framework Desktop mit demselben Ryzen AI Max+ 395 getestet
- Gemessen wurde die Leistungsaufnahme an der Steckdose mit einem Quarch QTL2843, während 20 Durchläufe des llama-bench-Prefill-Tests ausgeführt wurden
- Beide Geräte liefen im „Performance“-Modus; Halo erlaubt keine Nutzereinstellungen für Leistung oder Kühlung
- Der AI Max+ 395 im Framework Desktop hielt während des gesamten Tests die 120-W-Basislinie, mit relativ häufigen Leistungsspitzen bis 130 W
- Halo hielt nach Testbeginn etwa 5 Minuten lang 140 W und fiel danach für den Rest des Tests auf die 120 W TDP zurück
- Halos Blower-Design und die Lufteinlässe an allen Seiten hielten die Außenseite selbst im thermischen Gleichgewicht relativ kühl, die Unterseite erwärmte sich jedoch auf etwa 50 °C
- Die Lüfter drehen beim Abführen der Wärme deutlich hoch, klingen aber eher nach einem „Woosh“ als scharf
Produktwert durch Software
- Mini-PCs auf Basis des Ryzen AI Max+ 395 sind in mehreren Produkten erhältlich, daher liegt Halos besonderer Wert weniger in neuer Hardware als im AMD Ryzen AI Developer Center, kuratierten Konfigurationen und dem Versprechen von First-Party-Support
- Halo ist wie NVIDIA DGX Spark darauf ausgelegt, Entwicklern, die auf bestimmter AMD- oder NVIDIA-Hardware testen müssen, weniger Zeit für die Einrichtung der Umgebung abzuverlangen
- Anders als DGX Spark gibt es Halo sowohl in einer Linux- als auch in einer Windows-Version
- Die Linux-Version startet in das AMD Ryzen AI Developer Center, über das Softwareinstallation und -updates, Dokumentationszugriff und Systemsteuerung erfolgen
- Laut AMD ist Halo nicht gesperrt, Nutzer können also ein OS ihrer Wahl installieren
- Allerdings werden offenbar keine Images bereitgestellt, mit denen sich zwischen AMDs werkseitigen Windows-/Linux-Konfigurationen wechseln ließe
Best Known Configurations und Playbooks
- AI Halo und das Developer Center bieten Zugriff auf AMDs Best Known Configurations(BKC)
- BKC sind Systemkonfigurationen, bei denen AMD verifiziert hat, dass enthaltene Software, Pakete und Treiber zueinander kompatibel sind
- Diese Konfigurationen reduzieren die Last, vor dem Ausführen eines Playbooks oder dem Lernstart erst Abhängigkeitsprobleme lösen zu müssen
- Das AMD AI Playbook auf allgemeinen AI-Max+-Systemen bietet Kommandozeilenanweisungen für die Speicherzuweisung; auf AI Halo wird dies je nach Linux oder Windows auf Slider oder Dropdowns vereinfacht
- Halo verhindert weder manuelle Einstellungen noch komplexe Konfigurationen; es besteht zwar das Risiko, Implementierungs- und Hardwaredetails zu abstrahieren, doch es bietet einen Ausgangspunkt, bevor man tiefer einsteigt
- AMD AI Playbooks sind eine Sammlung einfacher Tutorials, mit denen sich AI-Workloads auf AMD-Hardware erkunden lassen
- Playbooks konzentrieren sich auf AI Halo, es gibt aber auch Versionen für Radeon-GPUs
- Playbooks sind auch auf GitHub öffentlich verfügbar; AMD will sie wie BKC aktuell halten und monatlich ein neues Playbook hinzufügen
Ausprobierte Playbooks
- AMD Sync bietet eine einfache Möglichkeit, über das Netzwerk remote auf Halo zuzugreifen
- Live-Metriken ansehen
- VSCode-Projekte öffnen
- Jupyter-Labs-Projekte starten
- Terminalzugriff
- AMD Sync erforderte lediglich, AMD Sync auf dem Remote-Gerät zu installieren und die SSH-Informationen zu kopieren; im Test verlief dies problemlos
- Die Playbooks zu LM Studio und Lemonade behandeln das Herunterladen, Verwalten, Serven und Interagieren mit lokalen LLMs
- Die LM-Studio- und Lemonade-Playbooks sind als kurzer, leicht nachvollziehbarer Ablauf von der Softwareinstallation über Runtime-Updates bis zum Download des ersten Modells aufgebaut
- Beide Playbooks führen weiter bis zur Nutzung lokaler LLMs als Coding-Assistent oder zur programmatischen Interaktion über die OpenAI API
- Das VSCode-Playbook verbindet ein in einem vorherigen Playbook gehostetes lokales LLM mit dem Cline agent in der IDE
- Die Playbooks für PyTorch-basierte LLM-Ausführung und Fine-Tuning zeigen, dass sich dank vorinstallierter Software, Treiber und Modelle ein LLM in 4 bis 5 Schritten ausführen lässt
- Das PyTorch-Playbook ist kein vollständiges Tutorial, das bis in die interne Arbeitsweise der Skripte geht, erfüllt aber erfolgreich die Rolle eines Smoke Tests, der Abhängigkeiten verbindet und die Funktionsfähigkeit prüft
- Für Einsteiger werden unter „Next Steps“ auch Ideen angeboten, was als Nächstes ausprobiert werden kann
Stärken und Schwächen der Softwarekonfiguration
- BKC und Playbooks bieten einen jederzeit wiederherstellbaren Referenzzustand, der Situationen reduziert, in denen man mehreren Tutorials folgt und trotzdem nichts läuft
- Dieser Zustand ist über den System Reset-Button im Developer Center erreichbar
- Da Halo wie ein normaler Computer nach Bedarf installiert und konfiguriert werden kann, schränken BKC und Playbooks die Freiheit der Nutzer nicht ein
- BKC und Playbooks können auch 3rd-Party-Tutorials erleichtern, weil diese einen bekannten Ausgangspunkt und Kompatibilität voraussetzen können
- Wie in den AI Playbook GitHub issues zu sehen ist, schlagen derzeit Teile einiger Playbooks fehl; auch im praktischen Test traten Probleme auf
- Wenn AMD solche Probleme nicht schnell behebt, kann der gesamte Softwarewert ins Wanken geraten; beim Kauf auf Basis eines künftigen Wertversprechens bleibt dies ein Risiko
NPU tatsächlich genutzt
- Auf Halo ließ sich über AMD Lemonade und FastFlowLM ein LLM auf der XDNA 2 NPU ausführen
- Ausgeführt wurde gpt-oss-20b-FLM; Telemetrie zur NPU-Auslastung stand nicht zur Verfügung
- Bei CPU-/GPU-Auslastung nahe 0 verbrauchte das AI-Max+395-Paket bis zu 35 W, die Generierungsleistung lag bei 20 tokens/s
- NPUs haben oft eine geringere Rechenleistung als GPUs, punkten dafür aber mit deutlich höherer Energieeffizienz
- Sie eignen sich für Aufgaben wie das schnelle Verarbeiten von Sensoren etwa einer Kamera, während CPU und GPU für Hauptaufgaben frei bleiben
- Dieses Entwicklungskit mit Ryzen AI Max+ 395 und NPU könnte helfen, energieeffizientere lokale LLM-Entwicklung statt riesiger GPUs voranzubringen
Verhalten von USB-C Power Delivery
- Halo wird vollständig über USB-C PD mit Strom versorgt
- USB-C kann derzeit bis zu 240 W übertragen; Halo enthält ein Delta ADP-240KB BA AC/DC-Netzteil mit Unterstützung für USB-C PD Extended Power Range(EPR)
- Dieses Netzteil kann bis zu 48 V, 5 A liefern
- Im Test zog Halo nicht mehr als 200 W aus der Stromversorgung
- Mit einem Infineon CY4500-EPR wurden die PD-Pakete zwischen Netzteil und Halo gemessen
- Beim ersten Anschließen meldet das Netzteil per SOURCE_CAPABILITIES-Nachricht die verfügbaren Spannungen und Ströme
- Zunächst werden nur Standard-Power-Range(SPR)-Ausgabemodi bis 20 V, 5 A, also 100 W, angezeigt
- Halo sendet eine EPR_MODE-Nachricht, um den EPR-Modus des Netzteils anzufordern, und prüft anschließend die vollständigen EPR-Fähigkeiten
- Halo fordert einen festen 48-V-Ausgabemodus an, der bis zu 5 A nutzen kann, und verwendet damit die maximale 240-W-Konfiguration
- Halo sendet weiterhin EXTENDED_CONTROL_MESSAGE an das Netzteil; interessant ist, dass solche kontinuierlichen Nachrichten bei einer festen Spannungsausgabe beobachtet wurden
1 Kommentare
Meinungen auf Hacker News
Neu erwähnenswert sind die AMD Playbooks (https://developer.amd.com/playbooks/, https://github.com/amd/playbooks)
Das ist AMDs Antwort auf Nvidias Playbooks (https://build.nvidia.com/spark, https://github.com/NVIDIA/dgx-spark-playbooks), und ich finde es gut, dass AMD diesen Bereich ernster zu nehmen beginnt.
Die Hardware ist exakt dieselbe wie die, die letztes Jahr für 2.000 Dollar verkauft wurde, und bei chinesischen OEMs bekommt man sie immer noch 1.000 Dollar günstiger.
Es ist gut, dass die LLM-Tests von LTT Lab ausgefeilter werden, aber je nach ROCm/Vulkan-Version und Build-Version von llama.cpp können die Werte ziemlich stark schwanken.
Um aus Strix Halo die maximale Leistung herauszuholen, helfen Kernel-Tuning und Utilities wie ryzenadj; das meiste ist auf http://strixhalo.wiki/ zusammengetragen.
Wenn man es fürs Coding oder Agenten-Workloads nutzt, ist es schon ziemlich ausgereift, sobald das Modell MTP unterstützt, und das Decoding kann ungefähr 30 % schneller werden.
Um Zeit zu sparen: Wie auch im Artikel steht, gibt es den AMD Ryzen AI Max+ 395 (Strix Halo)-Prozessor schon seit Frühjahr 2025, und Halo bietet in dieser Hinsicht nichts Neues.
Es gibt dieselbe Beschränkung auf 256 GB/s Speicherbandbreite wie bei den früheren Boards; ich verstehe nicht, warum das jetzt wie ein neues Produkt herausgebracht wird.
Für einen ähnlichen Preis kann man einen Framework Desktop kaufen, und der GMKtec EVO-X2 ist etwas günstiger zu haben.
Aus AMDs Sicht ist es naheliegend, den Gewinn selbst mitzunehmen, statt günstiger an PC-Hersteller zu verkaufen.
Dann kann man einfach einen normalen Tower oder einen Server-Rack-Rechner kaufen.
Ich hätte wirklich gern eine Maschine mit 128 GB oder mehr Speicher, aber 4.000 Dollar für nur 256 GB/s sind hart.
Man muss sogar die Nachteile sowohl von ARM als auch von AMD in Kauf nehmen.
Wenn RTX Spark erscheint, dürfte man wohl bei 6.000 Dollar landen, und ich fürchte, dass eine Maschine mit 128 GB oder mehr und 700+ GB/s bei 10.000 Dollar liegt und damit für die meisten Verbraucher unerreichbar wird.
Ehrlich gesagt gibt es derzeit kaum gute Optionen, und vielleicht ist es besser zu warten, bis der Markt weniger verrückt spielt.
Wenn jemand eine Maschine baut, die beides bietet, ließe sie sich problemlos für 10.000 Dollar verkaufen, und die Leute würden dafür Schlange stehen.
Zum Beispiel schafft DS4, also ein 1-Bit-quantisiertes Modell von DeepSeek V4 Flash, etwa 9 bis 13 Token pro Sekunde, und die Zeit bis zum ersten Token ist sehr lang.
Für agentenartige interaktive Coding-Modelle ist das nicht realistisch.
Ich mag Strix Halo und nutze es hauptsächlich gut dafür, nichtinteraktive Aufgaben wie Software-Sicherheitsaudits oder Lernexperimente dauerhaft laufen zu lassen.
Als Plattform für KI-Experimente ist es gut, aber für 4.000 Dollar bekommt man einen Nvidia-basierten Asus Ascend GX10, und der ist vermutlich besser.
Für lokale interaktive Agenten-Anwendungen würde man wohl Qwen 3.6 oder Gemma 4 laufen lassen; diese passen bequem in 2x64-GB-GPUs, und selbst ältere GPUs können schneller sein als Strix Halo.
Sie passen auch knapp in 32 GB und dürften auch auf einem Mac mit 48 GB oder 64 GB gut laufen.
Der Sweet Spot bei GPUs scheint derzeit bei zwei Radeon AI Pro R9700 zu liegen.
Sie kosten nicht wie eine 5090 oder 4090 so viel wie ein Gebrauchtwagen, bieten aber genug Speicher und Leistung für lokale Inferenz, und sie sind auch nicht so heikel oder seltsam wie alte Server-GPUs auf eBay und brauchen keine 3D-gedruckten Lüfterkanäle.
Momentan gibt es eigentlich kein Modell, das auf solchen 128-GB-Inferenzmaschinen deutlich besser läuft, auf 64-GB-Maschinen aber nicht gut funktioniert.
Eine 64-GB-Maschine könnte sogar schneller sein, und unter den 32-GB-GPUs gibt es wohl nicht viele langsamere; man sollte aber keine GPU kaufen, die derzeit von den Vendor-Treibern und CUDA oder ROCm nicht aktiv unterstützt wird.
Diese Geräte waren großartig, solange sie günstiger als DGX Spark waren.
Wenn der Preis aber gleich ist, gibt es keinen Grund, sie statt Spark zu kaufen.
Spark ist schlicht die schnellere Version, und die Software-Unterstützung ist ebenfalls besser.
Das sage ich als jemand, der ein Ryzen-AI-Max-395-Gerät besitzt.
Das basiert auf mehreren Bezugsquellen für Hochschulen.
Die CPU des Ryzen ist besser als die des DGX Spark, und besonders bei modernen Programmen, die auf AVX-512 aktualisiert wurden, ist die Multithread-Leistung deutlich höher.
Nur bei GPU-Anwendungen ist das NVIDIA-System wahrscheinlich besser.
Ich habe ziemlich lange am passenden Linux-Kernel, an Kernel-Firmware, an der ROCm-Installation usw. herumgebastelt.
Ich habe ein Strix-Halo-Gerät und mag es, aber zu diesem Preis ist man für AI-Zwecke mit einem Nvidia-basierten ASUS GX 10 besser bedient
Das CUDA-Ökosystem ist weiterhin stärker
AMD hat die bessere CPU und ist damit als Desktop-Maschine besser, aber Nvidia ist bei Inferenz- und Trainings-Workloads etwas schneller und der Support ist etwas besser
Mit ROCm kann man fast immer dasselbe machen, aber es braucht etwas mehr Handarbeit
Allerdings ist das Custom-Ubuntu, das Nvidia mit seiner Hardware ausliefert, so schlecht, dass es kaum zu ertragen ist
Nvidia ist nicht gut in Software, und nachdem ich einige Jahre mit der Jetson-Reihe gearbeitet habe, ist sie immer noch miserabel
Es ist weiterhin ein sperriges Custom-Ubuntu, mit einer komplizierten imagebasierten Struktur und ohne UEFI, sodass man nicht einfach irgendein anderes Linux installieren kann
Ich vermute, dass sie auch auf den großen Geräten Ubuntu ausliefern werden, aber selbst in der Hand hatte ich nur die kleinen Embedded-Jetson-Maschinen
Bei AMD ist es ein normaler x86_64-PC, auf dem man praktisch jedes Linux installieren kann; auf meinem Gerät habe ich direkt Fedora installiert
Es ist einfach Ubuntu, und ich hatte keine nennenswerten Probleme
Dazu kommt, dass sie unter den ARM64-Linux-Geräten, die ich bisher gesehen habe, der einzige Anbieter sind, der tatsächlich ein ordentlich unterstütztes Linux ausliefert
Ich nutze den ASUS GX10 als Haupt-Workstation im Alltag, und das Einzige, was nicht läuft, ist Spotify, vermutlich wegen DRM
Einen Signal-ARM64-Client scheint es auch nicht zu geben
Der große Vorteil des DGX Spark gegenüber Strix Halo ist, dass die Prefill-Geschwindigkeit deutlich höher ist
Ungefähr 5-mal schneller
Auch die Netzwerk-Hardware ist absurd stark, aber ich und wahrscheinlich 99 % der anderen Spark-Nutzer werden diese Leistung kaum ausreizen
256 GB/s Speicherbandbreite entsprechen etwa einem Viertel einer 3090
Hätten sie den Speicher halbiert und die Geschwindigkeit vervierfacht, wäre es der bessere Kauf gewesen
Hohe Speichergeschwindigkeit ist gut für dichte Modelle oder Serving mit hoher Parallelität
In einer lokalen Single-User-Umgebung ist es aber oft besser, dank solcher Plattformen stärkere und größere MoE-Modelle mit vernünftiger Geschwindigkeit und niedriger Parallelität nutzen zu können
Dann sind vermutlich die langsamen PCIe-Lanes der Flaschenhals
Wenn der Workload auf eine 24-GB-Karte passt, gehört man ohnehin nicht zur Zielgruppe der AI-Mini-PC-Nische, die sie hier bedienen wollen
Kleine Modelle kann man damit deutlich besser ausführen
Für mich ergibt eine 3090 vor allem dann Sinn, wenn man mindestens zwei, idealerweise vier Karten kaufen kann; dann reden wir aber über ein völlig anderes Budget
Das neue MTP-Modell Qwen3.6 35B MoE gibt selbst bis etwa 80k Kontext noch ohne starke Verlangsamung Tokens aus
Viele Tokens zu bekommen ist gut, aber weil man Kontext verarbeiten und erweitern kann, bleibt das gegenüber kleinen Grafikkarten weiterhin eine hervorragende Maschine
Ein 32-GB-DDR4-RAM-Modul hat 25 GB/s Bandbreite und kostet 160 Dollar
Kauft man acht Stück, bekommt man für 1.280 Dollar 256 GB RAM und 200 GB/s Bandbreite
Kauft man 16 16-GB-Module für je 60 Dollar, bekommt man für 960 Dollar 400 GB/s Bandbreite
Das Problem ist, dass man 8 oder 16 Speichercontroller braucht
Speichercontroller sind aber nicht so teuer
Ein Intel Core i3-14100F hat einen 2-Kanal-Controller und kostet 110 Dollar; daraus kann man grob schließen, dass ein 16-Kanal-Controller unter 880 Dollar und ein 8-Kanal-Controller etwa 440 Dollar kosten würde
Dann wäre es doch besser, eine günstige CPU mit 16 DRAM-Controllern zu bauen, statt ein 4.000-Dollar-Gerät mit nur 128 GB
Oder auch zwei CPUs mit je 8 RAM-Kanälen
DDR5 ist mit 360 Dollar für 32 GB doppelt so teuer, liefert aber nicht einmal die doppelte Bandbreite und ist daher den Kauf nicht wert
Mehr RAM-Kanäle zu bauen und DDR4 einzusetzen wäre sinnvoller
Allerdings kann das Mainboard ziemlich teuer werden
Statt auf teures DDR5 umzusteigen, hätten selbst die günstigsten CPUs 8/16 DDR4-Kanäle unterstützen sollen
Ein 32-GB-DDR5-4800-Modul kostet 360 Dollar, zwei 32-GB-DDR4-3200-Module kosten 320 Dollar; damit bekommt man die doppelte Kapazität, höhere Bandbreite und einen niedrigeren Preis
DDR5 ist einfach Abzocke
In der vorherigen Form kostete es „nur“ 2.000 Dollar, aber auch dieser aktualisierten Box fehlt es massiv an Speicherbandbreite
Es gibt ein paar Modelle mit Platz für eine dedizierte GPU für hybride Inferenz, aber persönlich finde ich das den Aufwand nicht wert
Besser, man spart das Geld für einen Xeon- oder EPYC-Build
Ich verstehe nicht, warum ähnliche Produkte alle genau bei 128 GB VRAM hängen bleiben
Bei diesem Preis hätte ich mindestens 224 GB VRAM erwartet
Es hängt vom Speicherbus ab
Man kann grob von 96 GB bei 128 Bit, 192 GB bei 256 Bit, 384 GB bei 512 Bit und 768 GB bei 1024 Bit ausgehen
https://community.frame.work/t/was-there-no-possible-way-to-...
Sie wollen nicht, dass margenarme Consumer-/Homelab-Produkte ihre Datacenter-Produkte ersetzen, deshalb begrenzen sie absichtlich den VRAM solcher Produkte, um sie für Datacenter-Einsätze weniger attraktiv zu machen
Das ist nur etwas günstiger als ein Nvidia DGX Spark mit CUDA oder ein Mac mit 128 GB und doppelt so hoher Speicherbandbreite
Der Vorteil von Strix Halo lag ursprünglich darin, halb so teuer zu sein wie diese deutlich leistungsstärkeren Maschinen
Einen AMD-Chip zu diesem Preis zu kaufen, grenzt an Wahnsinn
Allerdings ist der gesamte Hardwaremarkt derzeit verrückt, daher wird sich das leider wohl trotzdem gut verkaufen
Der M5 Pro hat eine etwas höhere Speicherbandbreite, ist derzeit aber nur mit maximal 64 GB DRAM erhältlich
Selbst diese kleinere Speicherkonfiguration ist teurer als AMD oder NVIDIA, und wenn man statt einer kleinen SSD eine SSD in vernünftiger Größe will, auf der man LLMs ablegen und Quantisierung selbst berechnen kann, wird es noch teurer
Zum Beispiel kostet eine Konfiguration mit 4-TB-SSD und 64 GB DRAM über 5.600 Dollar
Wenn es um LLM-Inferenz geht, wirkt Apple nicht wie eine wettbewerbsfähige Lösung
Der Preis ist deutlich höher, und um mehrere LLMs zu speichern, braucht man viel Platz, während die SSD-Erweiterung ebenfalls eingeschränkt ist
Richtig ist nur, dass AMD-Strix-Halo-Systeme früher deutlich günstiger als NVIDIA waren, jetzt aber beim gleichen Preis liegen
Die CPU von Strix Halo ist besser als die von NVIDIA, aber die NVIDIA-GPU ist wahrscheinlich besser als die AMD-GPU, und CUDA funktioniert garantiert zuverlässig