Tenstorrent und der aktuelle Stand der AI-Hardware-Startups

• Stärken von Tenstorrent
  • Entwickelt leistungsstarke CPU- und AI-Kerne auf Basis von RISC-V und zeigt damit einen eigenständigen Ansatz im Bereich AI-Hardware
  • Stellt den gesamten Software-Stack und alle Entwickler-Tools als Open Source bereit und schafft so ein entwicklerfreundliches Ökosystem
  • Kann mit dem Samsung Foundry SF4X-Prozess differenzierte AI-Chipsätze mit wettbewerbsfähigen Kosten produzieren
• Nachteile und Bedenken
  • Die starke Dominanz von Nvidia im AI-Hardware-Markt
  • Im Vergleich zu GPU-zentrierten Wettbewerbern ist eine relative Schwäche von Tenstorrent weiterhin die hohe Latenz (latency)
• Marktposition
  • Tenstorrent bietet durch AI-Hardware und RISC-V-IP einen differenzierten Mehrwert gegenüber Nvidia, AMD und ARM
  • Eine auf Inference fokussierte Strategie erhöht die Erfolgschancen am Markt

Technischer Überblick über Tenstorrent

• Wichtige Merkmale von Grendel (AI-Chipsatz der 3. Generation)
  • Einführung einer Chiplet-Architektur: leistungsstarke RISC-V-CPU-Kerne und AI-Kerne werden getrennt
  • Mesh-Topologie für effiziente Datenbewegung zwischen den einzelnen Kernen
• Kernstruktur
  • Große RISC-V-Kerne: können Linux ausführen und dienen der Verarbeitung allgemeiner Codes
  • Baby-RISC-V-Kerne: ultrakleine Kerne für Datenbewegung und Kernel-Ausführung. 752 Kerne belegen weniger als 1 % der gesamten Die-Fläche
  • Tensix-Kerne: AI-Computing-Einheiten speziell für Vektor- und Matrixoperationen. Bei jedem Tensix-Kern verwalten 5 Baby-RISC-V-Kerne die Kernel-Ausführung
• Compiler
  • Verwendet einen auf GCC basierenden modifizierten Compiler. Nutzer müssen nur einen einzelnen Kernel schreiben, GCC übernimmt den Rest automatisch

Herausforderungen für AI-Hardware-Startups

1. Wettbewerb im Trainingsmarkt
   • Nvidias H100-GPU dominiert den Markt
   • Große Cloud-Unternehmen wie Amazon und Google arbeiten mit Halbleiter-Designpartnern zusammen, um eigene Chips zu produzieren
2. Chancen im Inference-Markt
   • Es besteht die Möglichkeit, bei Kosten und Performance mit Nvidia zu konkurrieren
   • Preisvorteile durch den Samsung-Prozess und den Verzicht auf HBM
3. Kundengewinnung
   • Der wichtigste Zielmarkt ist Inference-orientierte Hardware für kleinere Unternehmen oder Startups

Tenstorrents Software-Strategie

• Der Software-Stack in der 6. Version
  • Bietet Zugänglichkeit für unterschiedliche Entwickler und Nutzer, von ML-Modellen bis hin zu Low-Level-Kernels
  • Entwicklung innovativer Kernel in Zusammenarbeit mit der Discord-Community
• Lösung früherer Probleme
  • Früher musste für jede Hardware ein neuer Software-Stack aufgebaut werden
  • Nun wurde ein integrierter Software-Stack entwickelt, der unabhängig von der Hardware funktioniert

Technische Diskussion und Fazit

• Die Philosophie von Tenstorrent
  • "Die Zukunft der AI besteht nicht aus reiner linearer Algebra, sondern aus gemischten Workloads"
  • Betont die Notwendigkeit der Integration von CPU- und AI-Kernen
• Jim Kellers Vision
  • Wenn künftige AI-Workloads eine CPU-Integration erfordern, ist Tenstorrent der einzige darauf vorbereitete Anbieter
• Marktausblick
  • Im AI-Trainingsmarkt gibt es für Startups wegen Nvidias monopolartiger Stellung fast keine Chancen
  • Im Inference-Markt bestehen Erfolgschancen durch einen innovativen Ansatz
  • Die Performance von Blackhole der 2. Generation und Grendel der 3. Generation wird künftig ein wichtiger Bewertungsmaßstab sein

Investitionen und Unternehmenswert

• Aktuelle Bewertung von Tenstorrent
  • In der jüngsten Series-D-Runde mit 2 Milliarden US-Dollar bewertet
  • Nutzt Chancen im RISC-V-IP-Markt im Zusammenhang mit ARMs Preiserhöhungen
• Vergleich mit Wettbewerbern
  • Im Vergleich zu anderen AI-Hardware-Startups wie Cerebras technologisch stärker und besser an den Markt angepasst
  • Schwächer bei der Wettbewerbsfähigkeit gegenüber Nvidia im CUDA-Ökosystem
• Künftige Strategie
  • Konzentriert sich auf den Inference-Markt, um die Wettbewerbsfähigkeit zu halten
  • Setzt weiterhin auf eine Philosophie rund um Entwickler-Ökosystem und Open Source

Fazit

• Tenstorrent verfolgt bei AI-Hardware und dem Design von RISC-V-CPUs einen eigenständigen Ansatz und bietet in einem von Nvidia und ARM dominierten Markt wichtige Differenzierungsmerkmale
• Das Wachstumspotenzial im Inference-Markt ist hoch, und das Unternehmen gilt unter AI-Startups als besonders investitionswürdig.

[GN⁺]

Hacker-News-Meinungen

• Ich betreibe ein Geschäft zur Vermietung von High-Performance-Computing und möchte Computing demokratisieren, damit es für alle leicht zugänglich ist. Wegen der dominanten Stellung von Nvidia habe ich das Gefühl, dass es zu wenig Interesse an anderer Hardware gibt. Ich hoffe, dass das Interesse an und die Nachfrage nach solchen Diensten zunehmen.
  • Da ARM die Lizenzpreise und Royalties erhöht, denke ich, dass die Zukunft von RISC-V-CPU-IP vielversprechend ist. Es beunruhigt mich, dass immer mehr Unternehmen Verträge brechen.
  • Eher als AI-Hardware ist es eine verkleinerte Form des traditionellen High-Performance-Computing und wird unabhängig vom AI-Boom für viele verschiedene Aufgaben nützlich sein.
  • Tenstorrent sieht die Zukunft von AI in gemischten Workloads. CPU-Workloads werden gebraucht, und bisher hat sich daran nichts grundlegend geändert.
  • Es wird die Möglichkeit eines Betrugs bei Groq erwähnt, und es wird behauptet, dass Llama 3.1 405B Junior Engineers ersetzen könne.
  • Den ARM-Qualcomm-Streit hatte ich fast vergessen, und bald wird es große Veränderungen geben.
  • Ich fände es gut, wenn AMD und NVIDIA den Data-Center- und Supercomputing-Markt aktiver angehen würden. Die aktuelle Situation wirkt wie das Fantum für Sportteams.
  • Die offene Diskussionskultur des Tenstorrent-Teams wird gelobt, und man wünscht sich, dass mehr Unternehmen so werden.
  • Es gibt die Sorge, dass Llama für Senior Engineers nützlich ist, aber das Lernen von Junior Engineers behindern könnte. Man muss darüber nachdenken, wie Junior Engineers effektiv lernen und verstehen können.
  • Über die Behauptung, dass Llama 3.1 405B Junior Engineers ersetzen könne, wird gelacht.