Wie AI-Tokens durch das Rechenzentrum reisen

• Im Jahr 2026 wuchs AI-Inferenz auf rund zwei Drittel des gesamten AI-Computings an, machte 80–90 % der Lebenszyklus-Computingkosten bereitgestellter Modelle aus, und damit bestimmen Kosten und Latenz der Token-Verarbeitung die Wirtschaftlichkeit der Infrastruktur
• Eine einzelne Anfrage durchläuft auf dem Weg zur Antwort einen 15-stufigen Pfad über Tokenisierung, API-Gateway, Authentifizierung, Routing, Scheduling, KV-Cache, GPU·HBM, CUDA-Kernel, NVLink·Switches·NIC·Ethernet
• Das Prefill, das Eingaben parallel verarbeitet, ist an Rechenaufwand und die Latenz bis zum ersten Token gebunden, während Decode, das Token einzeln erzeugt, an Speicherbandbreite sowie Generierungsgeschwindigkeit und -kosten hängt; Batching, Quantisierung und spekulatives Decoding zielen daher auf unterschiedliche Engpässe
• Continuous Batching und PagedAttention erhöhen GPU-Auslastung und gleichzeitigen Durchsatz, Prompt Caching senkt die Kosten wiederholter Eingaben um bis zu 90 % und die Latenz langer Prompts um etwa 85 %, und die Trennung von Prefill und Decode ermöglicht den Betrieb stufenspezifischer GPU-Pools
• Die Kosten für eine feste Qualitätsstufe sind im Jahresmedian um etwa das 200-Fache gesunken, während der Durchsatz um das 7-Fache gestiegen ist; der langfristige Wert konzentriert sich auf physische Engpässe wie HBM-Bandbreite, NVLink-Interconnects, optische Komponenten und Strom sowie auf Inferenzplattformen, die Effizienz in Kundenbindung umwandeln

---

Warum Inferenz zum Zentrum der AI-Ökonomie geworden ist

• Chatbots, Coding Agents, Suchzusammenfassungen und Bildbeschriftungen sind allesamt Token-Generierungsaufgaben, bei denen ein trainiertes Modell im Forward-Pass wiederholt das nächste Token vorhersagt; dieser Prozess ist Inferenz
• Google hat bekanntgegeben, im Mai 2026 über seine Dienste hinweg monatlich 3,2 Billiarden Tokens zu verarbeiten
  • Auf das Jahr hochgerechnet entspricht das etwa 38 Billiarden
  • Das sind 7-mal mehr als die 480 Billionen pro Monat ein Jahr zuvor; Anfang 2024 waren es 9,7 Billionen pro Monat
  • Diese Zahl steht nicht für Training, sondern für die Kosten der Beantwortung von Nutzeranfragen
• Der Anteil der Inferenz am AI-Computing stieg von etwa einem Drittel im Jahr 2023 auf die Hälfte im Jahr 2025 und auf rund zwei Drittel im Jahr 2026
• Bei bereitgestellten Modellen ist Inferenz ein sich pro Anfrage wiederholender Cost of Revenue; als Branchenfaustregel gilt, dass sie 80–90 % der Lebenszyklus-Computingkosten ausmacht
• Die von den vier großen Hyperscalern für 2026 angepeilten Investitionsausgaben liegen bei rund 725 Milliarden US-Dollar, 77 % mehr als im Vorjahr
  • Davon fließen mehr als 60 % nicht in Chips, sondern in Strom, Kühlung und Gebäude
  • Allein der Markt für Inferenz-spezialisierte Siliziumchips dürfte 2026 über 50 Milliarden US-Dollar erreichen
• Zwei Veränderungen treiben die Inferenznachfrage nach oben
  • Inferenzzeit-Skalierung und Agentensysteme verbrauchen pro Anfrage 10- bis 100-mal mehr Tokens
  • Agentische Workflows sind wegen Retries, Tool-Aufrufen und erneutem Laden von Kontext pro Aufgabe 5- bis 25-mal teurer als eine einzelne Anfrage
• Die Kosten für eine feste Qualitätsstufe sind seit Anfang 2024 im Jahresmedian um etwa das 200-Fache gesunken, doch billigere Tokens erschließen mehr Aufgaben und erhöhen damit den Gesamtverbrauch – ein Jevons-Paradox
• Batching, Paging, Quantisierung, spekulatives Decoding, disaggregiertes Serving und Network Fabrics sind alles Technologien, die die Kosten pro Token bei vorgegebener Ziellatenz senken sollen

Schritte 1–4: Text in batchbare Arbeit umwandeln

• Schritt 1: Nutzer und Tokenisierung

  • Der Client sendet Text per HTTPS, doch das Modell erhält nicht Text als Eingabe, sondern ganzzahlige IDs
  • Ein Byte-Level-BPE-basierter Tokenizer zerlegt den String in Subword-Tokens und ordnet jedes Token einer ID aus einem Vokabular mit etwa 100.000 bis 200.000 Einträgen zu
  • Das Beispiel mit einem 12.000-Token-RFP und einer Frage wird zu einer flachen Sequenz aus 12.022 Integer-IDs
  • Die Tokenisierung läuft deterministisch auf der CPU und kostet fast nichts, doch die Zahl der Input- und Output-Tokens bestimmt die Abrechnung
  • Das Kontextfenster von 200.000 bis 1 Million Tokens bei Frontier-Modellen im Jahr 2026 setzt die Obergrenze für die Dokumentgröße, die auf einmal eingegeben werden kann

• Schritt 2: API-Gateway

  • Das API-Gateway terminiert TLS, parst die Anfrage und übernimmt Schema-Validierung, API-Versionierung, grobes Rate Limiting, die Vergabe einer Trace-ID sowie die erste Nutzungserfassung
  • Mit Proxys auf Envoy- oder NGINX-Niveau und einer Web Application Firewall verarbeitet es Millionen Anfragen pro Sekunde, führt aber keine Modelllogik aus
  • Das Latenzbudget liegt bei unter 1 Millisekunde; etwa 5 % des Traffics mit Formatfehlern, überschrittenen Quoten oder missbräuchlichen Anfragen werden abgewiesen, bevor sie teure Ressourcen erreichen

• Schritt 3: Authentifizierung und Abrechnungsstufe

  • Der API-Key oder OAuth-Token wird einer Organisation zugeordnet, um Rate-Limit-Stufe und Ausgabenlimit zu prüfen und den anzuwendenden Preis pro Token zu bestimmen
  • Auch die Berechtigung für Rabatte auf gecachte Eingaben, priorisierte Pfade und günstige Batch-Preise wird in diesem Schritt festgelegt
  • Dabei werden Grenzen für mandantenfähige Datentrennung und Missbrauchsschutz gesetzt und anonyme Bytes in eine messbare, abrechenbare und isolierbare Arbeitseinheit verwandelt

• Schritt 4: Load Balancing

  • Ein allgemeiner Load Balancer verteilt Anfragen mithilfe von Health Checks und Echtzeit-Lastsignalen auf identische Modellreplikate
  • Bei LLMs kann simples Round-Robin Anfragen mit demselben System-Prompt oder Dokumentpräfix an unterschiedliche Replikate senden und so Chancen zur Cache-Wiederverwendung verlieren
  • Modernes AI-Load-Balancing entwickelt sich zu cache-bewussten Verfahren, die das Replikat mit passendem KV-Cache für dasselbe Präfix auswählen, und überschneidet sich dabei funktional mit dem Inference Router im nächsten Schritt
  • Auch die Entscheidung, ob Anfragen bei ausgelasteter Gesamtanlage in die Warteschlange kommen oder mit 429 beantwortet werden, fällt in diesem Schritt

Schritte 5–6: Ausführungsort und Batching festlegen

• Schritt 5: Inference Router

  • Der Inference Router wählt innerhalb weniger Millisekunden Modell, Silizium und Replikat aus
  • Er wählt unter Frontier-70B, destilliertem 8B, Reasoning-Modell sowie Entwurfs-/Zielmodell-Paaren die wirtschaftlichste Konfiguration, die das Service-Level-Ziel erfüllt
  • Wird eine Anfrage, die ein 8B-Modell erfüllen könnte, mit einem 70B-Modell bearbeitet, frisst das unnötig Marge
  • Für das rechenlastige Prefill sind FLOPS entscheidend, für das speicherlastige Decode die HBM-Bandbreite; daher kann selbst innerhalb einer Anfrage die passende GPU unterschiedlich sein
  • Wird an eine Instanz mit demselben Präfix-KV-Cache gesendet, kann ein 12.000-Token-Prefill in einen nahezu kostenlosen Cache-Treffer verwandelt werden
  • Compiler und Auto-Tuner präkompilieren und optimieren GPU-Kernel passend zu Modell, Eingabeform und Chip und wählen zur Laufzeit den günstigsten Ausführungsplan
  • Together AI, Fireworks, Baseten und Modular produktisieren auf dieser Ebene die Auswahl von Kernel, Chip und Präzision und monetarisieren sie über ihre eigene Inferenzinfrastruktur

• Schritt 6: Scheduler und Continuous Batching

  • Bei Batch-Größe 1 ist ein H100 eher speicher- als rechengebunden, weshalb die Auslastung der Streaming Multiprocessors nur bei etwa 30–40 % liegt
  • Der Scheduler fügt per Continuous Batching bei jedem Forward-Pass neue Anfragen hinzu und entfernt abgeschlossene Sequenzen
  • So muss nicht gewartet werden, bis ein fester Request-Batch komplett abgearbeitet ist, und die GPU kann kontinuierlich gefüllt werden
  • vLLM erreicht mit diesem Ansatz einen 2- bis 4-mal höheren Durchsatz als frühere Serving-Systeme und verarbeitet auf demselben H100 3- bis 5-mal mehr Traffic als eine einfache PyTorch-Schleife

Schritte 7~8: KV-Cache und GPU-Speicherverwaltung

• Schritt 7: KV-Cache

  • In jeder Attention-Schicht werden für jedes Token Key- und Value-Vektoren erzeugt, und das nächste Token referenziert die K/V aller vorherigen Tokens
  • Würde dies jedes Mal neu berechnet, entstünden bei langen Kontexten Kosten von O(n²); daher berechnet das Prefill die K/V für 12.022 Positionen einmal und speichert sie im KV-Cache
  • Anschließend fügt die Decode-Phase nur noch ein K/V für das neue Token hinzu und liest den bestehenden Cache
  • Der KV-Cache wächst mit der Zahl und Länge gleichzeitiger Sequenzen und ist beim Serving die größte und dynamischste Verbrauchsstruktur des GPU-Speichers

• PagedAttention und Vermeidung von Fragmentierung

  • Da sich Sequenzlängen schwer vorhersagen lassen, kann eine zusammenhängende Speicherallokation dazu führen, dass 60~80 % des Speichers nicht nutzbar bleiben
  • PagedAttention / vLLM teilt den KV-Cache wie der virtuelle Speicher eines Betriebssystems in Seiten fester Größe auf
  • Es werden nur die benötigten physischen Blöcke zugewiesen und über eine Seitentabelle verbunden, sodass kein zusammenhängender Speicherbereich erforderlich ist
  • Die Seiten abgeschlossener Sequenzen werden sofort freigegeben
  • Sequenzen mehrerer Nutzer können sich so eine GPU sicher und effizient teilen
  • Dieses Speicherverwaltungsverfahren trägt zu der 2- bis 4-fachen Durchsatzsteigerung von vLLM bei

• Prompt- und Präfix-Caching

  • Bei Anfragen, die denselben System-Prompt, Few-Shot-Einleitungen oder Dokument-Präfixe wiederholen, kann der einmal berechnete KV-Cache wiederverwendet werden
  • Anthropic bietet das Lesen aus dem Cache für 0,30 US-Dollar pro 1 Million Tokens an, also zum 0,1-Fachen des normalen Eingabepreises; reguläre Eingaben kosten 3 US-Dollar
  • Auch bei OpenAI GPT-5.x kosten Cache-Eingaben 0,50 US-Dollar und reguläre Eingaben 5 US-Dollar, also jeweils mit 90 % Rabatt
  • Bei langen Prompts sinkt auch die Latenz um etwa 85 %, und Folgefragen zum Beispiel-RFP müssen das Prefill von 12.022 Tokens nicht wiederholen

• Schritt 8: Die drei Bestandteile des GPU-Speichers

  • Der GPU-Package-Speicher enthält zugleich feste Modellgewichte, einen mit gleichzeitigen Anfragen und deren Länge wachsenden KV-Cache sowie temporäre Aktivierungen und Arbeitsbereiche
  • Der nach dem Laden der Gewichte verbleibende Platz bildet das KV-Cache-Budget, weshalb oft eher der Speicher als die Rechenleistung die Zahl gleichzeitiger Nutzer begrenzt
  • Ein 70B-Modell benötigt in FP16 etwa 140 GB und damit zwei H100 mit 80 GB, während es in FP8 auf etwa 70 GB schrumpft, sodass auf einer GPU noch Platz für den KV-Cache bleibt
  • Durch Quantisierung bei den Gewichten eingesparter Speicher führt direkt zu mehr gleichzeitigen Nutzern

Schritte 9~10: HBM-Engpass und Optimierung von GPU-Kernels

• Schritt 9: Unterschiedliche Engpässe bei Prefill und Decode

  • Prefill sättigt mit großen Matrixmultiplikationen, die 12.022 Eingabe-Tokens parallel verarbeiten, die Tensor Cores und ist an die Rechenmenge und die Time to First Token (TTFT) gebunden
  • Decode muss bei jeder Erzeugung des nächsten Tokens die gesamten Modellgewichte und den wachsenden KV-Cache aus dem HBM lesen
  • Bei Batch-Größe 1 liegt die Rechenintensität von Decode bei etwa 1 FLOP pro Byte und damit weit unter der Roofline-Grenze von etwa 410~590 FLOP/Byte
  • Die Tensor Cores warten länger auf den Speicher als auf Berechnungen, und die HBM-Bandbreite setzt die Obergrenze für Generierungsgeschwindigkeit und Kosten

• Geringere Präzision

  • Wird die Präzision von FP16 auf FP8 oder FP4 gesenkt, reduziert sich die Zahl der pro Token zu lesenden Gewicht-Bytes, wodurch der speicherzentrierte Decode-Durchsatz steigt
  • NVIDIA NVFP4 ist ein 4-Bit-Gleitkommaformat für die Tensor Cores der fünften Blackwell-Generation
  • Es bietet gegenüber FP8 etwa die 2- bis 3-fache arithmetische Leistung und eine Speichereinsparung von etwa dem 1,8-Fachen
  • Die Abweichung gegenüber der Referenzgenauigkeit bleibt bei rund 1 % oder darunter
  • Es trägt dazu bei, End-to-End-Inferenz gegenüber Hopper um bis zu das Fünffache zu beschleunigen

• Schritt 10: CUDA-Kernels und Fusion

  • Die mathematischen Operationen der GPU werden als Kernels ausgeführt, also kleine Programme, die auf Tausenden Kernen laufen
  • Werden Transformer-Operationen als Hunderte separate Kernels ausgeführt, liest jeder Kernel Daten aus dem HBM und schreibt die Ergebnisse wieder zurück, was bandbreitenzentrierte Aufgaben stark belastet
  • Kernel-Fusion kombiniert mehrere Operationen zu einer, hält Zwischendaten im On-Chip-SRAM und reduziert HBM-Zugriffe
  • FlashAttention nutzt tile-basierte Attention und Online-Softmax, um die HBM-Lese- und Schreibvorgänge in Abhängigkeit von der Sequenzlänge von quadratischer auf lineare Größenordnung zu senken und auf das 2- bis 4-Fache zu beschleunigen
  • FlashAttention-3 nutzt die asynchrone Engine von Hopper und FP8 und erreicht auf dem H100 840 TFLOPS, also etwa 85 % der Maximalleistung

• Spekulatives Decoding

  • Da beim Decode selbst zur Erzeugung eines einzelnen Tokens die gesamten Gewichte gelesen werden müssen, sind die Zusatzkosten für die parallele Verifikation mehrerer Kandidaten-Tokens relativ gering
  • Ein kleines Draft-Modell schlägt die nächsten K Tokens vor, und ein großes Zielmodell verifiziert sie in einem einzigen parallelen Durchlauf und übernimmt das längste korrekte Präfix
  • Das Ergebnis ist mathematisch identisch zum normalen Decoding, die Geschwindigkeit ist jedoch 2- bis 4-mal höher
  • Verfahren wie EAGLE-3 übernehmen mehr als 75 % der Draft-Tokens

Schritte 11–14: Das Netzwerk im Inneren des Modells

• Schritt 11: NVLink-Scale-up-Fabric

  • Modelle mit Billionen Parametern und MoE-Modelle, die nicht auf eine einzelne GPU passen, werden auf mehrere GPUs verteilt, sodass in allen Schichten und für alle Tokens GPU-übergreifende Kommunikation entsteht
  • Das Netzwerk ist kein Hilfsgerät außerhalb der Decode-Schleife, sondern arbeitet innerhalb der Decode-Schleife
  • NVLink 5 liefert 1,8 TB/s pro GPU und damit etwa das 14-Fache eines PCIe-Gen5-Links
  • GB200 NVL72 verbindet 72 Blackwell-GPUs und 36 Grace-CPUs in einer einzigen NVLink-Domäne
  • Die Gesamtbandbreite beträgt 130 TB/s, der gemeinsame Speicher 13,4 TB
  • Die Leistungsaufnahme liegt bei rund 120 kW und bietet bei Modellen mit Billionen Parametern bis zu 30-mal höheren Inferenzdurchsatz als ein H100-Cluster

• Das durch Parallelisierung entstehende Kommunikationsvolumen

  • Bei der Tensor-Parallelisierung wird die Matrixmultiplikation jeder Schicht auf mehrere GPUs aufgeteilt; anschließend müssen partielle Ergebnisse pro Token mehrfach per all-reduce zusammengeführt werden
  • Bei MoE werden Tokens an Experten verteilt, die auf mehrere GPUs verstreut sind, weshalb all-to-all-Kommunikation oft zum zentralen Engpass wird
  • Die Produktionsumgebung von DeepSeek verwendet pro Node acht 400-Gbps-NICs und überlagert mit DeepEP die Kommunikation zwischen Experten mit der Berechnung, um GPU-Leerlauf zu reduzieren

• Schritt 12: Switches und Congestion Control

  • Der NVSwitch in einer Scale-up-Domäne bietet 144 NVLink-Ports und 14,4 TB/s nichtblockierendes Switching, sodass 72 GPUs gleichzeitig mit Höchstgeschwindigkeit kommunizieren können
  • Für Scale-out-Netzwerke über Rack-Grenzen hinweg kommen Switches wie NVIDIA Quantum-X800 InfiniBand, Spectrum-X800 Ethernet und Broadcom Tomahawk 6 mit 102,4 Tbps zum Einsatz
  • AI-Netzwerke reduzieren mit einer rail-optimierten Topologie, bei der GPUs mit derselben Nummer an denselben Rail-Switch angebunden werden, die Zahl der Hops bei kollektiver Kommunikation
  • Fabric-interne Operationen wie SHARP führen Reduktionen direkt im Switch aus
  • Wenn Tausende GPUs einen Schritt gleichzeitig abschließen, entsteht synchronisierter Incast; da Congestion auf nur einem Link die gesamte kollektive Kommunikation stoppen kann, ist adaptives Routing unverzichtbar

• Schritt 13: NICs und DPUs

  • Pakete, die zwischen Racks wandern, passieren SmartNICs oder DPUs wie NVIDIA BlueField
  • RoCE oder InfiniBand Verbs ermöglichen es einer entfernten GPU, den Speicher einer anderen GPU direkt zu lesen, ohne die CPU zu durchlaufen
  • Die Link-Geschwindigkeit liegt derzeit bei 400 Gb/s, und 800 Gb/s werden standardisiert
  • DPUs übernehmen Congestion Control, Verschlüsselung, Storage-Virtualisierung und Multi-Tenant-Isolation anstelle der Host-CPU
  • In rail-optimierten Clustern wird teils jeder GPU eine dedizierte NIC zugeordnet; DeepSeek paart acht GPUs mit acht 400-Gb/s-NICs

• Schritt 14: Ethernet und optische Komponenten

  • InfiniBand war mit etwa 1–2 µs Latenz und verlustfreier Fabric die traditionelle Wahl für AI-Cluster, während RoCEv2-Ethernet mit etwa 5–10 µs als zweite Wahl galt
  • Das Ultra Ethernet Consortium veröffentlichte im Juni 2025 UEC 1.0, das den Ethernet-Stack für AI neu aufsetzt
  • Dell’Oro prognostiziert, dass Ethernet in AI-Backend-Netzwerken InfiniBand bis 2027 überholen wird
  • Inferenz ist kostensensitiv und näher an Multi-Tenant- und Enterprise-Umgebungen, weshalb die Preisstruktur und das offene Ökosystem von Ethernet wichtig sind

• Kosten und Stromverbrauch optischer Komponenten

  • Optische Transceiver machen etwa 60 % der Netzwerkkosten und rund 45 % des Netzwerkstromverbrauchs aus
  • Da das Netzwerk etwa 15–18 % der gesamten Clusterkosten ausmacht, entfallen allein auf optische Komponenten rund 10 % der Gesamtkosten
  • 800G-Pluggable-Module in einem einzelnen Switch verbrauchen zusammen über 500 W und können damit mehr Strom benötigen als der Switching-ASIC
  • Der Markt für optische AI-Transceiver soll von rund 16,5 Milliarden US-Dollar im Jahr 2025 auf etwa 26 Milliarden US-Dollar im Jahr 2026 wachsen, ein Plus von 57 %
  • Co-Packaged Optics (CPO) verlagern optische Komponenten in das Switch-Package und senken den Strombedarf eines 1,6T-Links von etwa 30 W auf 9 W
  • NVIDIA stellt für seine für die zweite Hälfte 2026 geplanten Photonics-Switches eine 5-fach höhere Energieeffizienz und 10-fach höhere Resilienz in Aussicht
  • Bei Modellen, die größer als eine einzelne GPU sind, muss eine Bandbreitenlücke von etwa 20- bis 40-fach zwischen NVLink-Scale-up und Ethernet-Scale-out beherrscht werden

Schritt 15: Response-Streaming und Abrechnung

• Sobald das letzte Token erzeugt wurde, wandelt Detokenisierung die ganzzahligen IDs wieder in Text um
• Die Antwort läuft über NICs, Switches, Load Balancer und Gateways zurück und wird in der Regel Token für Token per Server-Sent Events (SSE) gestreamt
• Nutzer können oft schon nach etwa 0,3 Sekunden mit dem Lesen beginnen, bevor die vollständige Antwort fertig ist; deshalb bestimmt TTFT die wahrgenommene Geschwindigkeit stark
• Zum Schluss wird die Abrechnung abgeschlossen, indem normale oder gecachte Input-Tokens sowie die teureren Output-Tokens gemäß der in der Authentifizierungsphase festgelegten Stufe berechnet werden

Disaggregated Serving als Betriebssystem der Inferenz

• Batch-Verarbeitung, KV-Paging, die Trennung von Prefill und Decode, Hardware-Auswahl und kollektive Kommunikation sind alles Probleme, bei denen heterogene Aufgaben über die Speicher- und Netzwerkebenen hinweg so geplant werden, dass die Auslastung teurer Siliziumressourcen steigt
• Disaggregated Serving im Jahr 2026 trennt das rechenzentrierte Prefill und das bandbreitenzentrierte Decode in getrennte GPU-Pools
• Jeder Pool kann unabhängig skaliert und angepasst werden, während der KV-Cache zwischen beiden Pools gestreamt wird
• NVIDIA Dynamo, vLLM, SGLang, llm-d und Mooncake nutzen diese Struktur

Warum Compiler-Unternehmen zu Inferenz-Clouds wurden

• Compiler-, Kernel- und Auto-Tuner-Unternehmen lizenzieren ihre Technik nicht nur, sondern betreiben sie auf eigener Infrastruktur und verkaufen Tokens, wodurch sie Effizienzunterschiede in Bruttomarge umwandeln
• Wer bei Kerneln, Batching, Quantisierung und Speculative Decoding eine 2-fache Verbesserung erzielt, kann auch doppelt so viele verkaufbare Tokens pro GPU anbieten
• Auto-Tuner, die für jede Kombination aus Modell, Eingabeform und Chip den kostengünstigsten Kernel auswählen, erzeugen auf großen GPU-Flotten direkt Umsatz
• Der annualisierte Umsatz von Baseten stieg von rund 200 Millionen US-Dollar im Dezember 2025 auf etwa 600 Millionen US-Dollar im März 2026, ein Wachstum von rund 1.900 % gegenüber dem Vorjahr
  • Das Unternehmen nahm 1,5 Milliarden US-Dollar bei einer Bewertung von 11 bis 13 Milliarden US-Dollar auf
  • Die Unternehmensbewertung stieg damit gegenüber 5 Milliarden US-Dollar fünf Monate zuvor
• Die Übernahme von Modular durch Qualcomm für rund 3,9 Milliarden US-Dollar ist ein Beispiel dafür, wie ein Chip-Unternehmen NVIDIA mit einem hardwareunabhängigen Compiler begegnen will

Kriterien für die Auswahl eines Inference-Anbieters

• Latenz, Kosten, Zuverlässigkeit

  • Latenz sollte getrennt bewertet werden in TTFT, das den Start der Antwort bestimmt, und die Latenz zwischen Tokens, die die Geschwindigkeit bis zum Abschluss der Antwort festlegt
  • Wichtiger als der Median ist die p99-Tail-Latenz, die die von Nutzern tatsächlich erlebten Aussetzer widerspiegelt
  • Allgemeine GPU-Inferenz benötigt für das erste Token etwa 400–600 ms
  • Groq und Cerebras geben für Modelle der Klasse Llama-70B eine TTFT von unter 100–150 ms und eine Ausgabegeschwindigkeit von mehr als 1.600–2.100 Tokens pro Sekunde an, also etwa das 4- bis 6-Fache eines allgemeinen GPU-Stacks
  • Kosten sollten nicht anhand eines veröffentlichten Einzelpreises, sondern als Mischkosten berechnet werden, die Eingabe-/Ausgabe-Verhältnis, Cache-Trefferquote und Batch-Verarbeitbarkeit berücksichtigen
  • Output ist etwa 4- bis 5-mal teurer als Input und macht den Großteil der Gesamtkosten aus
  • Prompt-Caching senkt die Input-Kosten um 50–90 %, Batch-Tarife häufig um etwa 50 %
  • Mitte 2026 reichen die Preise von kostenoptimierten Endpunkten für offene Modelle wie DeepInfra oder Groq ab etwa 0,04–0,20 US-Dollar pro 1 Million Tokens bis zu mehreren Dollar für Frontier-Modelle, also mit Unterschieden im zweistelligen Multiplikatorbereich
  • Groqs Beispielpreise liegen bei 0,15 US-Dollar für Input und 0,60 US-Dollar für Output
  • Zuverlässigkeit sollte über eine reine Uptime-SLA hinaus bis zur funktionalen Verfügbarkeit gemessen werden
  • Azure OpenAI bietet eine 99,9-%-SLA für die Token-Generierung
  • Unternehmen verlangen auch Latenz-SLAs wie TTFT unter 200 ms bei 99,99 % der Aufrufe
  • Stark steigende Ablehnungsraten, automatische Modellversionswechsel, die Evaluationsergebnisse verschlechtern, und Kontingentbegrenzungen unter Last können ein Produkt ruinieren, auch wenn die offizielle Uptime eingehalten wird
  • Modellversionen sollten fixiert, Kapazitäten verhandelt und die funktionale Verfügbarkeit direkt überwacht werden

• Sieben Kriterien für Produktionstauglichkeit

  • Durchsatz und Request-Limits: Token-Limits pro Minute und kurzfristige Durchsatzreserven begrenzen parallele Agentenarbeit und das Skalierungsniveau
  • Sicherheit und Compliance: SOC 2 Type II, HIPAA, ISO 27001 und GDPR sind Grundvoraussetzungen für regulierte Branchen und lassen sich später nur schwer nachrüsten
  • Datenlokalität und private Bereitstellung: Garantien zur Nicht-Speicherung, VPC/BYOC und On-Premises-Unterstützung entscheiden über die Beschaffungsfreigabe in Unternehmen
  • Determinismus und Versionskontrolle: Feste Seeds und fixierte Checkpoints verhindern Drift in Evaluationsergebnissen durch automatische Änderungen
  • Modellabdeckung und Aktualität: Modellvielfalt, Unterstützung neuer offener Gewichte am Veröffentlichungstag und Fine-Tuning-/LoRA-Hosting bestimmen die Geschwindigkeit bei der Einführung neuer Modelle
  • Bereitstellungsflexibilität: Serverless-, dedizierte Infrastruktur- und Self-Hosting-Optionen bestimmen das Gleichgewicht zwischen Kosten und Kontrollniveau
  • Portabilität: OpenAI-kompatible APIs und sauberes Multi-Provider-Routing bieten Handlungsspielraum bei Ausfällen, Preisänderungen und Modellwechseln

Physische Engpässe, in denen sich Wert akkumuliert

• HBM-Bandbreite bestimmt die Decode-Obergrenze, NVLink-Scale-up-Domänen sind proprietär, und optische Komponenten sowie Strom werden zu knappen Inputs
• Von 725 Milliarden US-Dollar Capex fließen mehr als 60 % in Strom und Gebäude, daher ist die langfristige Endkennzahl Tokens pro Watt
• Der Netzwerkmarkt spaltet sich in zwei Richtungen auf
  • Scale-up-Interconnects bleiben ein geschlossenes und verteidigbares Feld
  • Scale-out-Netzwerke außerhalb des Racks öffnen sich und werden rund um Ethernet und UEC zur Commodity
  • Differenzierung liegt eher in NVLink-Domänen, Optik/CPO und geistigem Eigentum bei der Staukontrolle als im allgemeinen Switching
• Die Margen von Inference-Software werden durch das Produkt aus Effizienzunterschieden, Auslastung und Betriebsgröße bestimmt; nur Unternehmen, die Performance in Distribution und Wechselkosten übersetzen, behalten auch bei fallenden Preisen Verteidigungskraft
• Geschäftsmodelle, die reine Rohgeschwindigkeit als Wettbewerbsvorteil anführen, können durch die Compiler-Schicht und kostenlose NVIDIA-Tools auf dasselbe Leistungsniveau commodifiziert werden
• Das Wachstum der Token-Ökonomie garantiert nicht automatisch hohe Margen; den Unterschied machen Plattformen aus, die Engpässe bei Speicher, Vernetzung, Optik und Strom sowie Effizienz in Kundenbindung verwandeln