Tenstorrent unter Leitung von Jim Keller stellt mit Grayskull eine RISC-V-basierte Antwort auf GPUs vor

• Tenstorrent ist ein Unternehmen unter der Leitung des bekannten Chipdesigners Jim Keller, der an AMDs Zen-Architektur und Teslas Chips für autonomes Fahren mitgewirkt hat
• Mit Grayskull wurde eine auf RISC-V basierende GPU-Alternative vorgestellt, die sich leicht programmieren und skalieren lässt und sich bei der Ausführung besonders für Sparsity und bedingte Berechnungen eignet
• Vorgestellt wurden Entwickler-Kits in zwei Versionen, Grayskull e75 und Grayskull e150. Es handelt sich um reine Inferenz-Hardware für die AI-Entwicklung, zusammen mit der Software TT-Buda und TT-Metalium
• Tenstorrent ist eine Partnerschaft mit Japans führendem Halbleiter-Technologiezentrum (LSTC) eingegangen.
• Geplant ist der Bau eines hochmodernen 2-nm-AI-Beschleunigers unter Verwendung von Tenstorrents RISC-V- und Chiplet-IP

Die Power von Grayskull!

• Das Modell Grayskull e75 integriert einen einzelnen Grayskull-Prozessor auf einer Low-Profile-PCIe-Gen-4-Karte halber Länge, die mit 75 W betrieben wird.
• Das Modell Grayskull e150 integriert einen Grayskull-Prozessor auf einer PCIe-Gen-4-Karte in Standardhöhe und 3/4-Länge, die mit bis zu 200 W betrieben wird, und bietet eine ausgewogene Balance aus Leistung und Durchsatz.

Tenstorrent-Prozessoren und DevKits

• Die Tenstorrent-Prozessoren bestehen aus einem Gitter von Kernen namens Tensix-Cores und verfügen über Netzwerk-Kommunikationshardware, mit der sie direkt über das Netzwerk miteinander kommunizieren können, ohne DRAM zu durchlaufen.
• Die Grayskull DevKits unterstützen verschiedene Modelle, darunter BERT für Natural Language Processing, ResNet für Bilderkennung, Whisper für Spracherkennung und Übersetzung, YOLOv5 für Objekterkennung in Echtzeit sowie U-Net für Bildsegmentierung.
• Die DevKits Grayskull e75 und e150 sind für jeweils 599 US-Dollar und 799 US-Dollar erhältlich.

Meinung von GN⁺

• Tenstorrents Grayskull kann als RISC-V-basierte Alternative zu traditionellen GPUs der Branche mehr Vielfalt verleihen, indem es AI-Entwicklern eine neue Option bietet.
• Dass Grayskull auf Sparsity und bedingte Berechnungen zur Laufzeit spezialisiert ist, birgt Potenzial zur Verbesserung von Effizienz und Performance von AI-Modellen.
• Bei der Einführung dieser Technologie sollten die Kompatibilität mit bestehenden Entwicklungsumgebungen, die Unterstützung im Ökosystem sowie die langfristige Performance- und Kosteneffizienz berücksichtigt werden.
• Andere Produkte der Branche mit ähnlichen Funktionen sind unter anderem GPUs von NVIDIA und TPUs von Google, Grayskull unterscheidet sich jedoch durch seine auf RISC-V basierende Architektur.
• Der Erfolg von Grayskull könnte Wachstum und Innovation im Open-Source-Hardware-Ökosystem fördern und damit zur Demokratisierung von Technologie und zu besserer Zugänglichkeit beitragen.

[ryudaewan]

Jim Keller scheint wohl ein He-Man-Fan zu sein. https://youtu.be/V8h8snfYidg?feature=shared

[GN⁺]

Hacker-News-Kommentare

• Zusammenfassung zum Grayskull-Entwicklungskit:

  • Grayskull e75: 75 W Leistungsaufnahme, 96 Tensix-Kerne, 1 GHz Taktfrequenz, 96 MB SRAM, 8 GB LPDDR4-Speicher (102,4 GB/s), Preis 599 $
  • Grayskull e150: 200 W Leistungsaufnahme, 120 Tensix-Kerne, 1,2 GHz Taktfrequenz, 120 MB SRAM, 8 GB LPDDR4-Speicher (118,4 GB/s), Preis 799 $
  • Es besteht Interesse daran, wie sich die Inferenzleistung dieser Produkte im Vergleich zu Grafikkarten verhält und ob sie für ein Home-Lab geeignet sind.
  • Es gibt ein Unboxing-Interview zur Preview-Version des Produkts, aber keine Leistungskennzahlen.

• Meinungen zur Architektur:

  • Die Beteiligung von Jim Keller weckt Interesse, aber für Menschen ohne Wissen über CPU-/ASIC-Design wirkt die Architektur etwas „bizarr“.
  • Kerngitter, Speicher und Schnittstellen sind vermischt, und es wird um eine Erklärung der netzwerkverbundenen Topologie gebeten.

• Erklärung zur Funktionsweise der Architektur:

  • Ein Basissystem, das aus Tensix-Kernen und gemeinsam genutztem Speicher besteht.
  • Jeder Tensix-Kern enthält eine High-Density-Tensormathe-Einheit (FPU) für Tensoroperationen, eine SIMD-Engine (SFPU), 5 RISC-V-CPU-Kerne und einen großen lokalen Speicher.
  • Die Kerne sind in Form zweier gegenläufiger ringförmiger Verbindungen gekoppelt.
  • Die RISC-V-Kerne werden verwendet, um FPU und SFPU zu steuern sowie Daten vorzubereiten und zu verschieben.
  • Die SFPU ist eine allgemeinere SIMT-Engine, die von den RISC-V-Kernen aus angesteuert werden kann.
  • Einen SFPU-Simulator kann man auf GitHub ausprobieren, und das Programmiermodell ist in Low-Level-Kernel-Beispielen zu sehen.
  • Die Grayskull-SFPU hat 4 allgemeine LRegs, die jeweils 64 Werte mit 19 Bit speichern können; Wormhole hat 8 allgemeine LRegs, die jeweils 32 Werte mit 32 Bit speichern können.
  • Die Wormhole-SFPU bietet im Vergleich zu Grayskull etwa die dreifache IPC sowie einige neue SFPU-Befehle.
  • Weitere Informationen finden sich in der Dokumentation und beim Durchsehen des GitHub-Repositorys.

• Fragen zur Modellauswahl:

  • Es wird gefragt, warum mit Modellen wie BERT, ResNet, Whisper, YOLOv5 und U-Net begonnen wird.
  • Es wird vermutet, dass Energieeffizienz das Ziel ist, aber das passt nicht vollständig zusammen.

• Fragen zu den Systemanforderungen:

  • Es wird infrage gestellt, warum das Host-System 64 GB RAM benötigt.
  • Ein Inferenzserver sollte doch abgesehen von der Inferenzhardware nur eine minimale Konfiguration brauchen.

• Vergleich mit kundenspezifischem Silizium anderer Unternehmen:

  • Es wird gefragt, wie sich diese Art von Prozessoren mit kundenspezifischem Silizium von AWS, Google und Tesla vergleichen lässt.

• Ähnlichkeiten der Architektur:

  • Es wirkt ähnlich zu der Art und Weise, wie Intels Projekt Larrabee GPU funktionieren sollte, nur mit RISC-V.

• Enttäuschung über reine Inferenzlösungen:

  • Es wird als ermüdend empfunden, dass vielversprechende Startups wie Groq und Tenstorrent nur Inferenzlösungen anbieten.
  • Über den offiziellen Groq-Kanal wurde erfahren, dass keine Investitionen geplant sind, um Training zu ermöglichen.
  • Das ist zwar nachvollziehbar, weil die Inferenznachfrage millionenfach höher sein könnte als die Trainingsnachfrage, bleibt aber dennoch enttäuschend.

• Anzahl der RISC-V-Kerne im Grayskull™ e150:

  • Grayskull™ e150 hat 120 Tensix-Kerne, die jeweils 5 RISC-V-Kerne enthalten, also insgesamt 600 RISC-V-CPU-Kerne.

• Mangel an Informationen zu Leistung und Architektur:

  • Es lassen sich keine detaillierten Informationen zu Leistung oder Architektur finden.
  • Für ein ML-zentriertes Gerät ist die Speicherbandbreite sehr niedrig und der Preis sehr hoch.
  • Es wird gefragt, was dabei möglicherweise übersehen wird.