Meta stellt MTIAv2 vor, seinen Beschleuniger der nächsten Generation für Training und Inferenz
(ai.meta.com)Meta hat MTIAv2 vorgestellt, die nächste Version von MTIA (Meta Training and Inference Accelerator) v1, dem im vergangenen Jahr präsentierten, selbst entwickelten KI-Inferenzbeschleuniger. MTIA ist ein Chip, der für Metas KI-Workloads entwickelt wurde, insbesondere für Deep-Learning-Empfehlungsmodelle, die verschiedenste Erlebnisse über die gesamten Produkte hinweg verbessern. Da KI-Workloads in Metas Produkten und Services immer wichtiger werden, dürfte die höhere Effizienz von MTIA die Fähigkeit verbessern, Nutzern weltweit die bestmögliche Erfahrung zu bieten.
Dieser MTIAv2-Chip der nächsten Generation zeigt bei vier zentralen Modellen bereits eine dreifache Leistungssteigerung gegenüber dem Chip der ersten Generation. Auf Plattformebene konnten dank der doppelten Anzahl an Geräten und einer leistungsstarken 2-Socket-CPU im Vergleich zum MTIA-System der ersten Generation ein 6-fach höherer Modell-Serving-Durchsatz sowie eine 1,5-fache Verbesserung bei Leistung pro Watt erreicht werden. Im Vergleich zu kommerziellen GPUs erweist sich MTIA als stark komplementär, wenn es darum geht, für Metas eigene Workloads optimale Leistung und Effizienz bereitzustellen.
Wichtige Merkmale von MTIAv2
Die wichtigsten Merkmale von MTIAv2 sind wie folgt:
- Gegenüber der vorherigen Generation mehr als doppelte Rechenleistung und Speicherbandbreite
- Entwickelt für die effiziente Verarbeitung von Ranking- und Empfehlungsmodellen
- Besteht aus Processing Elements (PE) in einem 8x8-Raster; 3,5-fach höhere Dense-Compute-Leistung und 7-fach bessere Sparse-Compute-Leistung
- 3-fach mehr lokaler PE-Speicher, doppelt so viel On-Chip-SRAM mit 3,5-fach höherer Bandbreite sowie doppelte LPDDR5-Kapazität
- Verbesserte NoC-Architektur (Network on Chip) mit doppelter Bandbreite und niedriger Latenz zur Koordination zwischen den PEs
⚠️Werbung⚠️ Diesen Beitrag auch in der koreanischen PyTorch-Community ansehen
Noch keine Kommentare.