AMDs MI300X übertrifft Nvidias H100 bei der LLM-Inferenz

AMDs MI300X übertrifft die Leistung von NVIDIAs H100

Wichtige Punkte

• AMDs MI300X-Beschleuniger: AMDs neuer MI300X-Beschleuniger zeigt eine Leistung, die NVIDIAs H100 übertrifft.
• Zusammenarbeit von TensorWave und MK1: Im vergangenen Monat haben TensorWave und MK1 zusammengearbeitet, um die AI-Inferenzleistung auf AMD-Hardware zu optimieren.
• MoE-Architektur: Die Leistung wurde mit einer Mixture-of-Experts-(MoE)-Architektur getestet. MoE kommt bei leistungsstarken Open-Source-LLMs zum Einsatz, die von Mistral, Meta, Databricks, X.ai und anderen verwendet werden.
• Erste Ergebnisse: Mit der Inferenzsoftware von MK1 erreichte der MI300X bei Mixtral 8x7B unter Ausführung von vLLM einen um 33 % höheren Durchsatz als der H100 SXM.
• Wettbewerbsfähigkeit: Obwohl NVIDIAs Software-Ökosystem ausgereifter ist, entwickelt sich AMD zu einem starken Wettbewerber im AI-Markt. Wenn man Hardware-Verfügbarkeit und Kosten berücksichtigt, ist der MI300X eine attraktive Option für Unternehmen, die großskalige Inferenz in der Cloud betreiben.
• Ausblick: Mit weiteren Optimierungen dürfte AMDs Leistungsvorsprung noch größer werden.

Meinung von GN⁺

• Potenzial für Leistungssteigerungen: Schon die ersten Ergebnisse zeigen, dass AMDs MI300X eine hohe Leistung bietet. Mit weiterer Optimierung ist eine noch bessere Performance zu erwarten.
• Wettbewerbsposition im Markt: NVIDIAs Software-Ökosystem ist zwar ausgereifter, doch die wettbewerbsfähige Leistung von AMDs Hardware könnte die Marktposition des Unternehmens weiter stärken.
• Kosteneffizienz: Bei Hardware-Verfügbarkeit und Kosten könnte der MI300X die bessere Wahl sein. Das ist besonders für Unternehmen wichtig, die großskalige Inferenz-Workloads ausführen.
• Aspekte bei der Technologieeinführung: Bei der Einführung neuer Hardware sind Software-Kompatibilität und Optimierung wichtige Faktoren. Wer AMDs MI300X einsetzt, muss möglicherweise zusätzlichen Aufwand für die Ersteinrichtung und Optimierung einplanen.
• Konkurrenzprodukte: Neben NVIDIAs H100 gibt es weitere AI-Beschleuniger, etwa Googles TPU oder Beschleuniger von Intel Habana Labs. Es ist wichtig, die Eigenschaften und die Leistung der einzelnen Produkte zu vergleichen, um die optimale Wahl zu treffen.

[GN⁺]

Hacker-News-Kommentare

• TensorWave ist ein auf AI-Workloads spezialisierter Cloud-Anbieter und liefert mit AMDs Instinct™ MI300X-Beschleunigern hohe Performance.
• 2024 einen Benchmark mit 128 Eingabe-Token zu verwenden, bildet die meisten Workloads nicht repräsentativ ab, und die Prefill-Performance ist sehr wichtig.
• Wettbewerb ist notwendig, und Nvidias aktueller Marktwert liegt bei etwa 0,6 Billionen Dollar und damit über dem der gesamten Frankfurter Börse.
• Markt und Verkaufspreise spiegeln den Wert von Nvidia-Lösungen und AMD-Lösungen wider, einschließlich Tools, Software, Total Cost of Ownership (TCO) und Verwaltbarkeit.
• Es wird infrage gestellt, ob viele Unternehmen viel Geld ausgeben, um 8x-7B-Parameter-Modelle parallel auszuführen, und ob sich ein 14B-Modell auf einem einzelnen Beschleuniger trainieren lässt.
• AMD und andere Unternehmen versuchen, Nvidia mit selektiv ausgewählten Benchmarks zu schlagen, und nutzen dabei Vergleichsmodelle aus Zwischengenerationen.
• Als AI-Wissenschaftler denke ich, dass AMD im Vergleich zu Nvidia unterbewertet ist. Die Chips sind nicht so schnell wie die von Nvidia, sind aber für die meisten Branchen kosteneffizient und können ähnliche Ergebnisse liefern.
• Es wird infrage gestellt, ob die Tensor-Parallelismus-Konfiguration die Performance beeinflusst. Dem Artikel zufolge setzt AMD den Tensor-Parallelismus auf 1, Nvidia hingegen auf 2.
• Ohne geeignete statistische Kennzahlen und Performance pro Watt ist ein Vergleich bedeutungslos.
• INT8/FP8-Benchmarks wären gut gewesen; beide Karten hätten sich mit etwa 60 GB VRAM laden lassen.
• AMD hat die bessere Hardware, verfügt aber noch nicht über die Produktionskapazität, um mit Nvidia zu konkurrieren. Wenn echter Wettbewerb aufholt, werden die Margen schrumpfen.
• Nvidias Dominanz liegt nicht an CUDA; rund 40 % des Umsatzes stammen von Großunternehmen mit eigenem Custom-Stack. Wenn der Wettbewerb aufholt, wird es günstigere GPUs geben.
• MI300X sollte theoretisch günstiger sein, aber ob das in der Praxis so ist, bleibt abzuwarten.