- Nach der Veröffentlichung von ChatGPT im November 2023 stieg die Nachfrage nach H100-GPUs sprunghaft an, wodurch die stündlichen Mietpreise von 4,70 $ auf über 8 $ kletterten
- Rechenzentrumsanbieter gingen davon aus, dass sich bei einer Vermietung von H100s zu Preisen von über 4,50 $ pro Stunde die Investition in weniger als zwei Jahren amortisieren würde
- Bis August 2024 fielen die Mietpreise für H100-GPUs in kleinen Clustern jedoch auf 1–2 $
Renditeschwelle für H100-Investitionen in Rechenzentren
- Über 2,85 $ pro Stunde: Rendite kann den S&P500 übertreffen
- Unter 2,85 $ pro Stunde: Rendite bleibt unter dem S&P500
- Unter 1,65 $ pro Stunde: Über fünf Jahre wird ein Investitionsverlust erwartet
Hauptgründe für den starken Preisverfall im H100-GPU-Markt
- Der Aufstieg von Open-Weight-Modellen erhöhte die Nachfrage nach Inference und Fine-Tuning
- Gleichzeitig schrumpfte der Markt für kleine und mittlere Anbieter von Foundation Models
- Viele Unternehmen und Startups erkannten, dass es wirtschaftlicher und effektiver ist, bestehende Open-Weight-Modelle feinzujustieren, statt eigene Modelle zu trainieren
- Startups und Unternehmen ohne Pläne zum Training großer Modelle mit mehr als 70B Parametern zogen ihre Investitionen zurück
- Viele Infrastrukturanbieter sichern ihre Gewinne über langfristige Verträge mit Laufzeiten von 3–5 Jahren
- Dies wurde während des AI-Hypes 2023 von verschiedenen Foundation-Model-Unternehmen durchgesetzt
- Nicht genutzte Kapazitäten reservierter Nodes werden inzwischen weiterverkauft
- Da große Modellentwickler wie Facebook und Microsoft eigene Cluster aufbauen, sinkt die Nachfrage nach bestehenden Clustern
- ChatGPT wurde im November 2022 mit der A100-Serie eingeführt, H100 kam im März 2023 hinzu. H100 war dreimal leistungsfähiger als A100, kostete aber nur doppelt so viel
- Das Auftreten alternativer GPUs wie AMD MI300 und Intel Gaudi3 als Ersatz für H100
- Durch Ethereums Wechsel zu Proof of Stake und die Dominanz von ASICs beim Bitcoin-Mining ging die Nachfrage nach GPU-Mining zurück
Implikationen
- Die durchschnittlichen Kosten einer H100-GPU liegen bei über 50k $, und bei angenommener Lebensdauer von fünf Jahren existieren verschiedene Mietmodelle
- Bei mehr als 2,85 $ pro Stunde kann die IRR den Aktienmarkt schlagen, darunter können jedoch Verluste entstehen
- Neue Investitionen in H100-Hardware werden voraussichtlich mit hoher Wahrscheinlichkeit Verluste verursachen
- Ausgenommen sind Sonderfälle wie rabattierte H100s, Strompreise oder spezielle Kundenanforderungen
- Gleichzeitig dürften fallende H100-Preise als Katalysator für die Verbreitung von Open-Weight-AI wirken
- Es wird erwartet, dass Entwickler und Engineers verstärkt mit offenen Modellen experimentieren und Anwendungen entwickeln
- Featherless.AI bietet sofortige Inference für mehr als 2.000 Open-Source-AI-Modelle zu einem Fixpreis von 10 $ pro Monat
- Zur Sicherung der Hardware-Rentabilität sind Optimierung auf allen Ebenen und die Auswahl maßgeschneiderter GPUs essenziell
Meinung von GN⁺
- Veränderungen im GPU-Markt: Der Preisrückgang bei H100-GPUs zeigt, wie schnell sich der GPU-Markt verändert. Das hat große Auswirkungen auf Investoren und Infrastrukturanbieter
- Einfluss von Open-Source-Modellen: Das Auftreten von Open-Source-Modellen wie Llama 3 erhöht die Nachfrage nach Fine-Tuning und Inference. Gleichzeitig sinkt die Nachfrage nach dem Training großskaliger Modelle
- Aufstieg alternativer GPUs: Da GPUs von AMD und Intel als Alternativen zur H100 aufkommen, verschärft sich der Wettbewerb im Markt. Das könnte zusätzlichen Druck auf die GPU-Preise ausüben
- Chancen für AI-Anwendungen: Sinkende GPU-Kosten senken die Eintrittsbarrieren für die Entwicklung von AI-Anwendungen und könnten mehr Innovation fördern
- Investitionsstrategie muss neu gedacht werden: Investitionen in GPU-Infrastruktur erfordern einen vorsichtigen Ansatz und eine genaue Beobachtung der Markttrends
2 Kommentare
Der von llama ausgelöste Schmetterlingseffekt ... wirklich interessant. Haha.
Hacker-News-Kommentare
Ein Dienst, der GPUs für 2 $ anbietet, könnte auf unzuverlässiges Computing angewiesen sein und damit sein Geschäft gefährden. AWS hat die Zuverlässigkeit hochwertiger Enterprise-GPU-Infrastruktur erhöht.
Rechenzentren, die bereits über Infrastruktur verfügten, konnten mit H100 hohe Gewinne erzielen. In einem effizienten Markt halten solche Chancen jedoch nicht ewig an.
Der eigentliche Gewinn liegt nicht in der Vermietung einzelner GPUs/Maschinen, sondern in der Vermietung von InfiniBand-Clustern.
Weltweit gibt es weniger als 50 Teams, die 16 H100-Knoten benötigen. Viele Teams werden keinen Gewinn erzielen.
Viele Gründer versuchen, Investoren zu überzeugen, indem sie Modelle trainieren, doch es gibt nur wenige Fälle, in denen tatsächlich wertvolle Modelle trainiert wurden.
Es wird die Traurigkeit von Universitätslaboren zum Ausdruck gebracht, die in der Zeit intensiver KI-Forschung keine Computing-Ressourcen kaufen konnten.
Diese Situation erinnert an den im Buch 'The Prize: The Epic Quest for Oil, Money & Power' beschriebenen Boom-und-Bust-Zyklus des Öls.
OpenAI muss seine Modelle angesichts der Fortschritte bei Open-Source-Modellen weiter verbessern.
Für GPU-Vermietungsfarmen klingt das nach schlechten Nachrichten.
Es wird die Ansicht geteilt, die Short-Position in NVDA leicht erhöht zu haben.