Überblick über Teslas Projekt Dojo

xguru · 2021-08-24T10:48:52+09:00

Ein Beitrag von AWS-VP James Hamilton Das Machine-Learning-System Dojo ist in drei Aspekten interessant Netzwerk im großen Maßstab → Jeder D1-Chip bietet 16.000 Gbps Networking (4 Tbps, 4 Kanäle) und wird zu einem 25-Chip-MCM (Multi-Chip Modules) kombiniert, das 36.000 Gbps (4x 9 Tb) Bandbreite liefert Extrem kleines Verhältnis von Speicher zu Rechenleistung → Jeder D1-Chip besteht aus 354 Funktionseinheiten, und jede Einheit verfügt nur über 1,25 Mega SRAM und kein DRAM, sodass ein einzelner D1-Chip insgesamt nicht einmal ein halbes Gigabyte Speicher hat (442,5 Mb) → Am Ende einer Rack-Einheit aus 5 Blöcken wird ein großer DRAM-Pool platziert, während das Computing-Rack selbst kein DRAM besitzt → Wenn man darüber nachdenkt, wie der Betrieb mit so wenig Speicher möglich ist, dürfte es eine Kombination aus enormer Netzwerkbandbreite und einem Systemdesign sein, das darauf ausgelegt ist, Vision-Modelle auszuführen, die deutlich weniger Speicher verwenden als andere typische ML-Trainingsaufgaben Enorme Leistungsdichte → Jeder D1-Chip verbraucht nur 400 W; das entspricht für diese Größe zwar modernen Erwartungen, wurde aber in einem sehr dicht gepackten 25-Chip-MCM so kombiniert, dass es nur 15 kW verbraucht (10 kW für die D1s und 5 kW für die Spannungsregler) → Dadurch kommt ein vollständig bestücktes 10-Rack-Dojo-Trainingssystem auf 1,8 Megawatt → Aus Größensicht würde ein Rechenzentrum mittlerer Größe typischerweise im Bereich von 30 bis 40 Megawatt betrieben werden Ein eher kleiner Punkt, aber das direkte Platzieren des VRD (Voltage Regulator Down) auf dem Tile scheint ein guter Ansatz zu sein, um die ungewöhnlich hohe 52-V-Stromversorgung bereitzustellen. Selbst bei einem Stromverbrauch von 15 kW fließen bei 52 V immer noch 288 A 354 Funktionseinheiten sind auf einem einzelnen D1-Chip mit 645 mm^2 integriert. 25 D1-Chips bilden ein Multi-Chip-Modul namens Training Tile, 12 Training Tiles bilden ein Rack, und 10 Racks füllen ein Exapod. „Ein ziemlich innovatives System“

(perspectives.mvdirona.com)

11 Punkte von xguru 2021-08-24 | 1 Kommentare | Auf WhatsApp teilen

Ein Beitrag von AWS-VP James Hamilton

Das Machine-Learning-System Dojo ist in drei Aspekten interessant

Netzwerk im großen Maßstab

→ Jeder D1-Chip bietet 16.000 Gbps Networking (4 Tbps, 4 Kanäle) und wird zu einem 25-Chip-MCM (Multi-Chip Modules) kombiniert, das 36.000 Gbps (4x 9 Tb) Bandbreite liefert

Extrem kleines Verhältnis von Speicher zu Rechenleistung

→ Jeder D1-Chip besteht aus 354 Funktionseinheiten, und jede Einheit verfügt nur über 1,25 Mega SRAM und kein DRAM, sodass ein einzelner D1-Chip insgesamt nicht einmal ein halbes Gigabyte Speicher hat (442,5 Mb)

→ Am Ende einer Rack-Einheit aus 5 Blöcken wird ein großer DRAM-Pool platziert, während das Computing-Rack selbst kein DRAM besitzt

→ Wenn man darüber nachdenkt, wie der Betrieb mit so wenig Speicher möglich ist, dürfte es eine Kombination aus enormer Netzwerkbandbreite und einem Systemdesign sein, das darauf ausgelegt ist, Vision-Modelle auszuführen, die deutlich weniger Speicher verwenden als andere typische ML-Trainingsaufgaben

Enorme Leistungsdichte

→ Jeder D1-Chip verbraucht nur 400 W; das entspricht für diese Größe zwar modernen Erwartungen, wurde aber in einem sehr dicht gepackten 25-Chip-MCM so kombiniert, dass es nur 15 kW verbraucht (10 kW für die D1s und 5 kW für die Spannungsregler)

→ Dadurch kommt ein vollständig bestücktes 10-Rack-Dojo-Trainingssystem auf 1,8 Megawatt

→ Aus Größensicht würde ein Rechenzentrum mittlerer Größe typischerweise im Bereich von 30 bis 40 Megawatt betrieben werden

Ein eher kleiner Punkt, aber das direkte Platzieren des VRD (Voltage Regulator Down) auf dem Tile scheint ein guter Ansatz zu sein, um die ungewöhnlich hohe 52-V-Stromversorgung bereitzustellen. Selbst bei einem Stromverbrauch von 15 kW fließen bei 52 V immer noch 288 A
354 Funktionseinheiten sind auf einem einzelnen D1-Chip mit 645 mm^2 integriert. 25 D1-Chips bilden ein Multi-Chip-Modul namens Training Tile, 12 Training Tiles bilden ein Rack, und 10 Racks füllen ein Exapod.
„Ein ziemlich innovatives System“

1 Kommentare

xguru 2021-08-24

Weitere lesenswerte Beiträge zum Tesla AI Day

Eindrücke vom Tesla AI Day https://de.news.hada.io/topic?id=4859
Zusammenfassung des Inhalts des Tesla AI Day.gif https://gall.dcinside.com/mgallery/board/…
Tesla AI Day, vollständige Version Teil 1 mit koreanischen Untertiteln https://www.youtube.com/watch?v=Ah-TMrKSvic

Überblick über Teslas Projekt Dojo

Verwandte Beiträge

1 Kommentare