Alternative Cloud-Anbieter wachsen rasant, da Unternehmen günstigeren Zugang zu GPUs fordern

Wachstum alternativer Cloud-Plattformen

• Die Nachfrage nach alternativen Cloud-Plattformen ist so hoch wie nie zuvor
• CoreWeave hat kürzlich neue Investitionen in Höhe von 1,01 Milliarden US-Dollar eingeworben und damit eine Unternehmensbewertung von 19 Milliarden US-Dollar erreicht
• Lambda Labs hat ebenfalls eine zweckgebundene Finanzierung in Höhe von 500 Millionen US-Dollar gesichert, während Voltage Park 500 Millionen US-Dollar in GPU-basierte Rechenzentren investiert
• Together AI hat eine Finanzierung über 106 Millionen US-Dollar erhalten, angeführt von Salesforce

Steigende Nachfrage nach generativer KI

• Mit dem anhaltenden Boom generativer KI steigt auch die Nachfrage nach Hardware, um generative KI-Modelle in großem Maßstab auszuführen und zu trainieren
• GPUs enthalten Tausende von Kernen, die die linearen Algebra-Gleichungen hinter generativen Modellen parallel verarbeiten können, und sind daher die ideale Wahl für das Training, Fine-Tuning und den Betrieb dieser Modelle
• Da die Installation von GPUs jedoch teuer ist, wenden sich die meisten Entwickler und Organisationen der Cloud zu

Vorteile alternativer Cloud-Plattformen

• Etablierte Cloud-Computing-Anbieter wie AWS, Google Cloud und Microsoft Azure bieten GPUs und spezialisierte Hardware-Instanzen an, die für generative KI-Workloads optimiert sind
• Für einige Modelle und Projekte können alternative Clouds jedoch günstiger sein und eine bessere Verfügbarkeit bieten
• Bei CoreWeave kostet das Mieten einer Nvidia A100 40GB 2,46 US-Dollar pro Stunde, was 1.771 US-Dollar pro Monat entspricht. Bei Azure kostet dieselbe GPU 3,40 US-Dollar pro Stunde bzw. 2.448 US-Dollar pro Monat, bei Google Cloud 3,67 US-Dollar pro Stunde bzw. 2.642 US-Dollar pro Monat

Herausforderungen für alternative Cloud-Plattformen

• Entscheidend wird sein, ob alternative Cloud-Anbieter weiterhin große Mengen an GPUs online bringen und zu wettbewerbsfähigen Preisen anbieten können
• Da etablierte Anbieter wie Google, Microsoft und AWS ihre Investitionen in maßgeschneiderte Hardware für das Ausführen und Trainieren von Modellen erhöhen, könnte der Preiswettbewerb schwieriger werden
• Viele generative KI-Workloads laufen zwar am besten auf GPUs, doch für zeitunkritische Aufgaben sind GPUs nicht zwingend erforderlich
• Falls die Blase rund um generative KI platzt, besteht das Risiko eines Überangebots an GPUs und eines starken Nachfragerückgangs

Meinung von GN⁺

• Der explosionsartige Anstieg der GPU-Nachfrage könnte den Einfluss großer GPU-Anbieter wie Nvidia weiter stärken. Berichten zufolge hat Nvidia alternativen Cloud-Anbietern bevorzugte GPU-Lieferrechte eingeräumt, was als Strategie zur Festigung seiner Marktdominanz erscheint
• Wenn Cloud-Anbieter sich große GPU-Cluster sichern können, verschafft ihnen das einen Wettbewerbsvorteil bei der Gewinnung großer KI-Projekte. Ein typisches Beispiel ist der milliardenschwere Vertrag, den Microsoft mit CoreWeave abgeschlossen hat, um OpenAI mit GPU-Rechenleistung zu versorgen
• Langfristig könnte sich die Landschaft der Cloud-Branche jedoch durch die Entwicklung KI-spezialisierter Custom-Silicon-Lösungen wie Google TPU, MS Azure Maia/Cobalt und AWS Trainium stark verändern. Es ist davon auszugehen, dass Hyperscaler ihre Abhängigkeit von Nvidia verringern wollen
• Alternative Clouds sind zwar als neue Option aufgetaucht, doch die Zahl der Kunden mit den nötigen Fähigkeiten in den Bereichen Sicherheit, Compliance und Multi-Cloud-Management dürfte begrenzt sein. Die Marktdominanz der etablierten Cloud-Anbieter bleibt weiterhin enorm

[GN⁺]

Hacker-News-Kommentare

Zusammenfassung:

• Das Geschäftsmodell von AWS scheint darauf zu beruhen, die Preisgestaltung verwirrend zu machen, sodass man die Kosten erst nach der Nutzung kennt.
• Eine Analyse der monatlichen Kosten des neuen GCP-Instanztyps n4-standard-2 zeigt, dass die Kosten für vCPU und Arbeitsspeicher mit 69 $ pro Monat hoch sind und auch SSDs teuer erscheinen.
• Es wird erwartet, dass große Cloud-Anbieter in den nächsten 10 Jahren Schwierigkeiten bekommen werden. Die Kosten und die Komplexität für den Aufbau von Systemen im planetary scale seien zu hoch, um sie zu rechtfertigen.
• Ein Artikel, der die Mietkosten für Nvidia-A100-40GB-GPUs bei CoreWeave, Azure und Google Cloud vergleicht, enthält einen Rechenfehler. Die monatlichen Kosten von CoreWeave weichen um etwa 30 % ab.
• fly.io wird als geeignete Alternative für GPU-Workloads empfohlen. Die Auto-Scaling-Funktion sei gut.
• Das Geschäftsmodell von AWS scheint darin zu bestehen, viel Geld an Startups zu verdienen, während diese von kleinen Anfängen zu großen Unternehmen heranwachsen. Mit dem Ende von ZIRP und der schwieriger gewordenen VC-Finanzierung dürfte es jedoch weniger Startups geben, die für explosives Wachstum viel Geld ausgeben können.
• Es wird nach Erfahrungen mit alternativen Cloud-GPUs für Inferenz-Workloads gefragt. Latenz ist wichtig, und die Kommunikation zwischen AWS-Infrastruktur und GPUs anderswo könnte schwierig sein.
• Core Weave und Lambda Labs haben eine räuberische Preispolitik, bei der man GPUs ohne Jahresvertrag nicht mieten kann. Es gibt aber auch Unternehmen wie sfcompute, die stundenweise Computing anbieten.
• Schon die Tatsache, „ein paar H100s/A100s gesichert zu haben“, kann an sich ein profitables technisches Geschäftsmodell sein.
• Crusoe Cloud bietet H100s, A100s und L40s zu sehr günstigen Preisen an und berechnet zudem keine Netzwerkgebühren. Der Preis pro FLOP ist konkurrenzlos.