-
Vorstellung des KI-Beschleunigers Intel Gaudi 3
- Der KI-Beschleuniger Intel Gaudi 3 wurde auf der Intel-Vision-Veranstaltung am 9. April 2024 in Phoenix, Arizona, vorgestellt.
- Er bietet die vierfache KI-Rechenleistung bei BF16 und eine im Vergleich zur Vorgängergeneration um das 1,5-Fache erhöhte Speicherbandbreite.
- Über allgemeine Community-basierte Software und branchenübliches Ethernet bietet er Kunden Wahlfreiheit und unterstützt eine flexiblere Skalierung von Systemen.
-
Warum Gaudi 3 wichtig ist
- Unternehmen in wichtigen Branchen wie Finanzen, Fertigung und Gesundheitswesen erweitern den Zugang zu KI und überführen Projekte im Bereich generative KI (GenAI) schnell von der Experimentierphase in groß angelegte Implementierungen.
- Um diesen Wandel zu bewältigen, Innovation zu fördern und Ziele zur Umsatzsteigerung zu erreichen, werden offene, kosteneffiziente und energieeffiziente Lösungen und Produkte benötigt.
- Der Beschleuniger Intel Gaudi 3 soll diese Anforderungen erfüllen und durch offene Community-basierte Software sowie offenes, branchenübliches Ethernet Vielfalt bieten, damit Unternehmen ihre KI-Systeme und -Anwendungen flexibel skalieren können.
-
Wie die maßgeschneiderte Architektur Leistung und Effizienz für GenAI liefert
- Der Beschleuniger Intel Gaudi 3 wurde für effiziente KI-Berechnungen im großen Maßstab entwickelt und wird im 5-nm-Prozess gefertigt, was gegenüber der Vorgängergeneration einen deutlichen Fortschritt darstellt.
- Er wurde so konzipiert, dass alle Engines parallel aktiviert werden können, wodurch die für schnelle und effiziente Deep-Learning-Berechnungen und Skalierung nötige Beschleunigung möglich wird.
- Wichtige Funktionen:
- Dedizierte KI-Rechen-Engines: Ausgestattet mit einer heterogenen Compute-Engine aus 64 KI-spezifischen programmierbaren TPCs und 8 MMEs
- Mehr Speicher für die Kapazitätsanforderungen von LLMs: 128 GB HBM2e-Speicher, 3,7 TB Speicherbandbreite und 96 MB Onboard-SRAM
- Effiziente Systemskalierung für Enterprise-GenAI: Integration von 24 Ethernet-Ports mit 200 Gbit/s für flexibles Networking auf Basis offener Standards
- Offene Branchen-Software für Entwicklerproduktivität: Integration des PyTorch-Frameworks und optimierte Community-basierte Modelle von Hugging Face
- Zusätzliche PCIe-Funktion von Gaudi 3: neuer Formfaktor, ideal für Fine-Tuning, Inferenz und Retrieval-Augmented Generation (RAG)
-
Marktakzeptanz und Verfügbarkeit
- Der Beschleuniger Intel Gaudi 3 soll im 2. Quartal 2024 für OEMs in branchenüblichen Konfigurationen als Universal Baseboard und Open Accelerator Module (OAM) verfügbar sein.
- Zu den vorgesehenen OEMs zählen Dell Technologies, Hewlett Packard Enterprise, Lenovo und Supermicro.
- Die allgemeine Verfügbarkeit des Beschleunigers Intel Gaudi 3 wird für das 3. Quartal 2024 erwartet, die Intel-Gaudi-3-PCIe-Add-in-Karte für das 4. Quartal 2024.
- Mehrere kosteneffiziente Cloud-LLM-Infrastrukturen, darunter NAVER, sollen den Beschleuniger Intel Gaudi 3 einsetzen.
-
Ausblick
- Die Dynamik rund um den Beschleuniger Intel Gaudi 3 soll die Grundlage für Falcon Shores bilden, Intels GPU der nächsten Generation für KI und HPC.
- Falcon Shores soll Intel Gaudi und Intel Xe IP integrieren und eine einheitliche GPU-Programmierschnittstelle auf Basis der Intel-oneAPI-Spezifikation bieten.
Meinung von GN⁺
- Intel Gaudi 3 zeigt bei Training und Inferenz von GenAI-Modellen deutliche Verbesserungen gegenüber wichtigen Konkurrenzprodukten wie Nvidia H100 und H200. Damit könnte es sich als Alternative positionieren, die Nvidias dominante Stellung im KI-Markt herausfordert.
- Die Unterstützung für offene Software und standardbasierte Skalierbarkeit kann zur Kosteneffizienz von Unternehmen beitragen und Vendor Lock-in vermeiden. Gerade für Unternehmen, die KI-Systeme im großen Maßstab aufbauen wollen, könnte das eine attraktive Option sein.
- Allerdings hatte Intel in den vergangenen Jahren mit Schwierigkeiten wie nachlassender Wettbewerbsfähigkeit im CPU-Markt und Verzögerungen bei Produkteinführungen zu kämpfen. Es bleibt abzuwarten, ob Gaudi 3 wie geplant erscheint und eine breite Einführung bei Kunden erreicht.
- Da mit Produkten wie AMDs Instinct MI300 weitere Wettbewerber im Markt für KI-Halbleiter vor dem Start stehen, dürfte sich der Wettbewerb verschärfen. Nicht nur technologische Vorteile, sondern auch der Aufbau eines Software-Ökosystems und die Gewinnung von Kunden werden entscheidende Faktoren sein.
1 Kommentare
Hacker-News-Kommentare