Nvidias Project Digits: „persönlicher AI-Supercomputer“
(techcrunch.com)- Nvidia hat auf der CES 2025 AI-Hardware auf Basis von Grace Blackwell in Form eines kompakten Geräts vorgestellt, das auf den Schreibtisch passt
- Project Digits ist ein persönlicher AI-Supercomputer, der Nvidias AI-Software-Stack lokal ausführt und als Option zwischen Cloud und Workstation positioniert ist
- Laut Nvidia unterstützt ein einzelnes Gerät mit dem GB10 Grace Blackwell Superchip bis zu 1 Petaflop Leistung und die Ausführung von Modellen mit 200 Milliarden Parametern
- GB10 wurde in Zusammenarbeit mit MediaTek entwickelt und umfasst eine Blackwell-GPU, eine 20-Core-Grace-CPU, 128 GB Arbeitsspeicher und bis zu 4 TB Flash-Speicher
- Ab Mai soll es über wichtige Partner für 3.000 US-Dollar verkauft werden; damit bietet es eine leistungsstarke lokale AI-Entwicklungsumgebung, dürfte aber für private Käufer nur eingeschränkt infrage kommen
Grace Blackwell kommt auf den Schreibtisch
- Nvidia hat Project Digits auf der CES 2025 in Las Vegas vorgestellt
- Project Digits ist ein „persönlicher AI-Supercomputer“, der die Grace-Blackwell-Hardwareplattform des Unternehmens in einem kompakten Formfaktor bereitstellt
- Als wichtigste Zielgruppen werden AI-Forscher, Data Scientists und Studierende genannt
- CEO Jensen Huang erklärte, Project Digits führe Nvidias gesamten AI-Stack aus und könne als Cloud-Computing-Plattform auf dem Schreibtisch sowie wie eine Workstation genutzt werden
Modellgröße und Hardware-Konfiguration
-
GB10 Grace Blackwell Superchip
- Project Digits enthält Nvidias neuen GB10 Grace Blackwell Superchip
- Er bietet bis zu 1 Petaflop Rechenleistung für Prototyping, Fine-Tuning und Ausführung von AI-Modellen
- Laut Nvidia kann ein einzelnes Project-Digits-Gerät Modelle mit bis zu 200 Milliarden Parametern ausführen
-
Chip- und Speicherkonfiguration
- GB10 wurde in Zusammenarbeit mit MediaTek entwickelt
- Die Architektur verbindet eine Nvidia-Blackwell-GPU mit einer 20-Core-Nvidia-Grace-CPU
- Im Inneren stecken ein 128-GB-Speicherpool und bis zu 4 TB Flash-Speicher
-
Erweiterung und Nutzung
- Werden zwei Project-Digits-Geräte verbunden, lassen sich je nach Workload Modelle mit bis zu 405 Milliarden Parametern ausführen
- Es kann eigenständig genutzt oder auch an einen vorhandenen Windows- oder Mac-PC angeschlossen werden
- Als Betriebssystem kommt Nvidias Linux-basiertes DGX OS zum Einsatz
Veröffentlichung und Preis
- Project Digits soll ab Mai über „wichtige Partner“ für 3.000 US-Dollar verkauft werden
- Huang sagte, den Grace Blackwell Superchip zu Millionen von Entwicklern zu bringen und AI-Supercomputer auf die Schreibtische von Data Scientists, AI-Forschern und Studierenden zu stellen, erweitere die Teilhabe am AI-Zeitalter
2 Kommentare
Wenn es wirklich so klappt, wie behauptet, wäre es schön, wenn die Leistung gut wäre und der Wartungsaufwand gut erledigt würde.
Hacker-News-Kommentare
Wenn ich meinen Jetson Nano in der Ecke anschaue, dient er nur noch als Briefbeschwerer im Ruhestand, nachdem Nvidia ihn nach 4 Jahren aufgegeben hat
Er kam als Single-Board-Computer für „AI“ heraus, basierte aber schon damals auf einem veralteten angepassten Ubuntu 18.04, und als 18.04 das Support-Ende erreichte, stellte Nvidia die Updates für das proprietäre JetPack und die Treiber vollständig ein
Dadurch wurden auch Machine-Learning-Stacks wie CUDA und Pytorch unbrauchbar, und solange der Software-Support nicht upstream in den Linux-Kernel aufgenommen wird, werde ich keinen Nvidia-Single-Board-Computer mehr kaufen
Das Verhältnis zwischen Nvidia und Linux war insgesamt kompliziert. Sie liefern zwar Treiber, aber eine der sichersten Methoden, eine Linux-Installation irreparabel kaputtzumachen, war, genau diese Treiber zu installieren oder zu aktualisieren
Es wirkt weniger so, als würde Linux als erstklassige unterstützte Plattform priorisiert, sondern eher so, als nehme man gerade genug in Kauf, um sagen zu können: „Es funktioniert“
Ehrlich gesagt brachten Nvidia-Single-Board-Computer mehr Ärger als Nutzen
Das scheint deutlich besser geworden zu sein, aber im JetPack-Linux-Fork gibt es weiterhin einen separaten
nvgpu-Treiber für Tegra, der noch nicht aus diesem Tree herausgelöst wurde, daher bleibt die Einschränkung eines Kernels ohne GPU großWenn man nicht ausdrücklich Robotik und Edge-AI-Inferenz betreibt, gibt es bessere Alternativen
Dieses Gerät wirkt vom Namen, vom DGX-artigen Design und von Software wie DGX OS her eher näher an Grace Hopper/Data-Center-Designs als an Tegra
Diese Workstation-/Server-Seite ist UEFI-basiert, und es könnte möglich sein, mit der gewünschten Distribution den Upstream-Linux-Kernel und den Open-Source-Nvidia-Treiber zu verwenden
Dann könnte es eher eine normale, vertraute Linux-Maschine werden als die Jetson-Serie, aber ob auch für GH200/GB200 angepasste Patches nötig sind, weiß man noch nicht
Die Zeit wird es zeigen, aber wenn gute GPUs mit einem guten ARM-Cortex-Design kombiniert werden und das Ganze eher wie eine traditionelle Linux-Box als wie die Jetson-Serie funktioniert, könnte das eine hervorragende lokale AI-Inferenz-Maschine werden
Erfahrungsgemäß liefern Hersteller Sicherheits-Patches nicht so gut wie Upstream. Wenn man an Nvidias geschlossenes Ökosystem denkt, sind die Erwartungen an langfristigen Support nicht besonders hoch
Das scheint bedeutender zu sein als eine GPU der 5x-Serie
Angesichts des AI-/LLM-Hypes könnte das selbst dann noch einen Teil der von Apple gehaltenen Hobby-AI-Entwicklerbasis abgraben, wenn ein M4 Max/Ultra Mac mini erscheint
In den letzten Jahren scheint Nvidia alles richtig zu machen, und ich denke oft, ich hätte ihre Aktie besitzen sollen
Xeon Phi scheiterte aus vielen Gründen, aber die Verfügbarkeit optimierter Software war ein Bereich, in dem es nicht hätte scheitern müssen
Heute gibt es Xeon, EPYC und den MI300C mit vielen Effizienz-Kernen, aber wenn man in den letzten 10 Jahren Software für genau solche Hardware geschrieben hätte, wäre das Problem, Leistung herauszuholen, längst gelöst
Bei Itanium genauso: Das Erste, was Intel hätte garantieren müssen, war guter Linux-Support, und das hätte man schon vor dem ersten Silizium vorbereiten können
Eine Zeit lang war der Itanium-Support gut, aber inzwischen ist es eine Plattform, die schon lange tot ist
Sun ist bei SPARC auf ähnliche Weise gescheitert. Nachdem man Workstations aufgegeben hatte, gab es keinen einfachen Onboarding-Pfad mehr
Mit OpenSolaris die Relevanz des Betriebssystems zu erhalten und x86 Solaris faktisch zu dulden, damit Leute lernen und üben konnten, war gut gemacht
Es wäre schön gewesen, wenn Oracle Cloud zumindest SPARC als Cloud-Instanz angeboten hätte
IBM geht jetzt denselben Weg. Es gibt keine vernünftige Einstiegslösung als POWER-Maschine, die mit Workstation-klasse-x86 bei der Leistung konkurrieren könnte
Im Grunde bleibt nur eine kleine Half-Rack-Maschine, die man neben den Schreibtisch stellen kann
Ich sehe kaum Unternehmen, die neue Systeme mit AIX, IBMi oder Linux on POWER ausrollen wollen, weil es auf konkurrierenden Plattformen einfach viel leichter ist
In IBM Cloud bekommt man zwar AIX-, IBMi- und IBM-Z-Instanzen, aber nicht einfach, und ich habe auch kein Tutorial gefunden, das einen „von 0 zu SSH/5250/3270“ bringt
Linux on Z ist möglich, aber es scheint keinen Weg zu geben, wie IBM Linux on POWER bereitstellt, und nur einige HPC-Forschungslabore bieten solche Ressourcen noch an
Viele Unternehmen werden solche Geräte für lokale Entwicklung kaufen, um teure Enterprise-Chips für kommerzielle Einsätze freizuhalten
Ein genialer Schachzug. Noch erstaunlicher ist fast der Formfaktor, der so viel Leistung in eine Größe ähnlich einem Mac mini packt
Dass man für 6000 Dollar zwei davon kaufen und damit 400B+-Modelle lokal betreiben kann, ist kaum zu glauben
Sich vorzustellen, auf dem Desktop etwas wie ChatGPT laufen zu lassen, wäre vor einem Jahr noch völlig undenkbar gewesen
Trotzdem treiben Hobby-Nutzer viele Verbesserungen im Tech-Stack voran, daher wird sich das NVIDIA-Ökosystem noch tiefer verankern, wenn sie anfangen, das zu nutzen
Macs mit Unified Memory sind eine Bedrohung, auf die er sofort reagieren muss. So wie es aussieht, ist Jensen ein CEO im Kriegsmodus, und das ist kein Scherz
Es überrascht auch nicht, dass AMD im High-End-Bereich fehlt. Nvidia tritt frontal gegen Apple an, und AMD ist kein Unternehmen, dessen Geschäft direkt mit Apple konkurriert
Die Leute wollen in ihrer Freizeit schließlich sowohl Fine-Tuning betreiben als auch Bilderzeugung für Erwachsene machen
Das Venn-Diagramm der Nutzer, die posten, dass sie zu Hause Diffusionsmodelle und LLMs betreiben, ist fast ein Kreis
Es ist überraschend, dass Nvidia einen Linux-Desktop-Supercomputer herausbringt, der beim Preis-Leistungs-Verhältnis besser sein soll als alles auf der Wintel-Seite, und dass der neue Software-Stack nicht auf Win32 portiert wird, sondern nur unter WSL2 läuft
Vielleicht kommt das Jahr des Linux-Desktops ja wirklich noch
Neoverse N2 mit 20 Kernen dürfte im Vergleich zu Zen 5 mit 16 Kernen nicht besonders herausragen
Die GPU-Seite wirkt vielversprechend, aber zu Speicherbandbreite, Konfiguration, Detailspezifikationen und Leistung wird nichts gesagt
Bisher sieht man nur vage Angaben wie „ab 3000 Dollar“, bis zu 4 TB NVMe und bis zu 128 GB RAM
AMD Strix Halo, also AI Max+ 395, dürfte ebenfalls ziemlich konkurrenzfähig sein
Dann wäre es vielleicht einfach eine Fortsetzung der jahrzehntelangen Linie „Unix auf Workstations“
Nvidia arbeitet eng mit Microsoft bei der Entwicklung von Karten zusammen, wichtige Funktionen landen zuerst in DirectX, kommen dann als Nvidia-Erweiterungen in Vulkan und OpenGL, und wenn andere Anbieter später ähnliche Erweiterungen nachziehen, wird daraus ein Standard
Ist WSL2 nicht im Wesentlichen eine virtuelle Maschine? Dann hieße das doch, dass es unter Linux läuft und dass man Linux eben auch unter WSL2 laufen lassen kann, oder?
Falls es wirklich nur unter WSL2 funktioniert, wäre das etwas anderes
Ich hatte mich auf eine Linux-Workstation gefreut, aber wenn WSL2 in irgendeiner Form dazwischenhängt oder zwingend erforderlich ist, muss ich sofort Abstand nehmen
Ich war etwas überrascht, wie viele Kommentare die Kosten mit günstigen Cloud-Lösungen vergleichen
Meiner Ansicht nach ist Nvidias Wertversprechen ein völlig anderes
Wenn zum Beispiel ein Startup in der EU personenbezogene Daten oder Unternehmensgeheimnisse verarbeitet und diese mit einem LLM analysieren will, kann allein der Umstand, dass die Daten den Keller nicht verlassen, schon mehr als 3000 Dollar wert sein, solange die Leistung nicht der Flaschenhals ist
Ich würde auf eigener Hardware mit einem LLM viel mehr dumme Experimente machen, als wenn ich pro Token bezahlen müsste
Tatsächlich verbringe ich schon jetzt deutlich mehr Zeit mit lokalen Llamas, die kleiner sind als Claude
Selbst wenn ich nichts Sensibles mache, schicke ich meine Daten nur ungern an solche Unternehmen
Das konkurriert nicht mit der Cloud, sondern mit einem Mac mini und einer leistungsstarken GPU, und in diesem Markt ist 3000 Dollar ein sehr attraktiver Preis
Wenn ein Tech-Unternehmen ein paar solcher Geräte lokal aufstellt, könnten Nutzer das Unternehmens-LLM mit sensiblen Daten abfragen
Ich entwickle, trainiere und nutze Modelle derzeit auf Hardware, die aus Restteilen nach Desktop-Upgrades zusammengewürfelt wurde; eines davon würde ich definitiv kaufen, und wenn es gut funktioniert, vielleicht auch zwei
Allerdings verlangen regulatorische oder geschäftliche Anforderungen teils Datenredundanz und -schutz, und mit einem Modell, bei dem alles nur On-Premises bleibt, lassen sich diese Anforderungen möglicherweise nicht vollständig erfüllen
Ein Markt, der hier kaum behandelt wird, ist die Bioinformatik
Illumina, ein Schwergewicht in diesem Markt, liefert bereits spezielle Hardware-Chips für Server namens DRAGEN aus, um Tausende Genome schnell zu analysieren
Da die Sequenzierung menschlicher Genome immer üblicher wird, ist der wichtigste Markt für dieses Produkt die personalisierte Medizin
Unternehmen wie Oxford Nanopore nutzen Onboard-GPUs für das Basecalling, also die Umwandlung roher elektrischer Signale aus dem Sequencer in A, T, G und C, aber wegen Größen- und Leistungsbeschränkungen funktioniert das nicht so gut, wie man es sich wünschen würde
Dieses Gerät könnte für Firmen wie ONT ein großer Gamechanger sein, besonders auch für anspruchsvollere Aufgaben wie adaptives Sequenzieren
Andere Bereiche der Bioinformatik, zum Beispiel ein Großteil der üblichen Analysesoftware, sind weiterhin stark von CPU und RAM abhängig
Illumina hat das Unternehmen, das diesen Chip herstellt, für 100 Millionen Dollar übernommen
Die Kosten, um in der Cloud auf allgemeiner Hardware ein einzelnes Genom zu analysieren, liegen normalerweise unter 10 Dollar
Natürlich könnten solche Chips Analysen ermöglichen, die derzeit unmöglich sind oder an den Kosten scheitern
Aber zumindest aktuell ist in der Genomik nicht die Analyse der Flaschenhals, sondern die Sequenzierungskosten, die derzeit bei etwa 400 bis 500 Dollar pro Genom liegen
Ich glaube allerdings, dass es noch 1 bis 3 Jahre dauert, bis ASI wirklich Fahrt aufnimmt
Ich habe aus Neugier nachgesehen, und dieses Gerät läuft offenbar mit DGX OS
Zu den wichtigsten Funktionen von DGX OS 6 gehören eine Basis auf Ubuntu 22.04, der aktuelle Linux-LTS-Kernel 5.15, aktualisierte Softwarepakete wie Python und GCC, ein von Nvidia optimierter Linux-Kernel mit Unterstützung für GPU Direct Storage ohne zusätzliche Patches, Zugriff auf alle Nvidia-GPU-Treiberzweige und CUDA-Toolkit-Versionen, wahlweise Standard-Ubuntu-OFED oder NVIDIA OFED für Zusatzfunktionen, Unterstützung für Secure Boot sowie Unterstützung für DGX H100/H200
Ich muss dabei daran denken, was beim Upgrade passiert, wenn darauf der binäre Nvidia-Treiberklotz installiert ist
Ach, entschuldigung, ich meinte natürlich Telemetrie
Nvidia hat damit das getan, was Intel/AMD hätten tun müssen, um das CUDA-Ökosystem zu bedrohen
Sie haben ein „günstiges“ 128-GB-Gerät/GPU für lokale Inferenz herausgebracht
Gut gemacht, und die KI-Bemühungen von Intel/AMD sehen von hier an düster aus
Schon mit einer grundlegenden SWOT-Analyse von Nvidias Position hätte man zwingend berücksichtigen müssen, dass ein Konkurrent ein solches Produkt herausbringen könnte
Ob es nun Apple ist, das sich bereits Stück für Stück an diesem Bereich zu schaffen macht, oder AMD/Intel, die es hätten tun können oder müssen
Es ist nicht garantiert, dass es so kommt, aber eine Zukunft, in der auf jedem Schreibtisch und in jedem Haus Modelle wie LLMs laufen, ist durchaus plausibel
Das ist kein Peripheriegerät, das man an einen Computer anschließt, um Spezialaufgaben laufen zu lassen, sondern ein vollständiger Computer, auf dem Linux läuft
So etwas wie ein Einsiedler im Garten. Das lässt an eine Zukunft denken, in der jeder irgendwann eine künftige Version davon besitzt und dieses Gerät mit einem zusammenlebt und mitlernt und sich im Gegensatz zu Cloud-basiertem SaaS-KI sofort anlernen lässt, wodurch es Vorteile bieten kann, die vom Durchschnitt abweichen
Selbst wenn es Vorteile gibt, gibt es immer noch nur sehr wenige Menschen, die statt eines Streaming-Abos ihren eigenen Plex-Server betreiben
Wenn auf der lokalen Seite sowohl die Hardware weiter Fortschritte macht als auch kleinere Modelle sich für viele Aufgaben als ziemlich brauchbar erweisen, dann werden solche leistungsstarken lokalen Workstations wohl höchstens einen Nischenreiz behalten
Ich frage mich, woher dieser Ausdruck kommt
IBM Roadrunner war am 25. Mai 2008 der erste Supercomputer, der 1 Petaflop, also 1 Billiarde Gleitkommaoperationen pro Sekunde, erreichte
100 Millionen Dollar, 2,35 MW, 6000 ft²
Project Digits hingegen wurde für KI-Forscher, Data Scientists und Studierende entwickelt und bietet mit Nvidias neuem GB10 Grace Blackwell Superchip bis zu 1 Petaflop Leistung für Prototyping, Fine-Tuning und das Ausführen von KI-Modellen
3000 Dollar, 1 kW, 0,5 ft²
Das ist also mindestens ein Faktor 8 Unterschied, tatsächlich vermutlich deutlich mehr
Ich bezweifle stark, dass Digits bei FP32 überhaupt 1/8 Petaflop schaffen kann
Abgesehen davon wirken die übrigen Unterschiede plausibel, wenn man 20 Jahre Zeitverlauf berücksichtigt
Sieht aus wie ein Nachfolger des Nvidia Jetson AGX Orin 64GB Developer Kit: https://www.okdo.com/wp-content/uploads/2023/03/jetson-agx-o...
Ich bin neugierig auf die Details bei Speicherbandbreite und Rechenleistung
Wenn es so bleibt wie jetzt, bekommt man über die gesamte Lebensdauer nur ein oder zwei größere Kernel-Updates und muss dann so absurde Dinge tun wie Ubuntu von vor sechs Jahren auf einem x86-PC installieren, nur um das Utility zum Flashen des OS auszuführen
In der Tech-Community ist es wegen des Single-Board-Computer-Syndroms bekannt
Die Leute kaufen es voller Begeisterung darüber, was man damit vielleicht tun könnte, und ein Jahr später liegen 95 % in der Schublade, weil das, was es tatsächlich gut kann, nicht dem Kaufgrund entsprach
Dieses Produkt scheint, wie der Artikel sagt, eher ein Nachfahre der HPC-Variante zu sein
Es scheint als nützliches Einstiegsgerät für Leute gedacht zu sein, die typische KI-Aufgaben besser als auf einem beliebigen PC ausführen oder betreiben wollen
Allerdings ist Nvidia kein Unternehmen, das seine Preise gern senkt, also muss irgendwo ein Haken sein