Geschwindigkeit, Skalierbarkeit, Zuverlässigkeit: 25 Jahre Evolution des Google-Rechenzentrumsnetzwerks

• Googles Netzwerk ist nicht über Nacht entstanden, sondern hat sich durch 25 Jahre technischer Innovationen und Meilensteine zur heutigen Jupiter-Rechenzentrumsnetzwerkarchitektur der fünften Generation entwickelt.
• Das heutige Jupiter-Netzwerk ist auf 13 Petabit/s bidirektionale Bandbreite skalierbar. Das entspricht einem Niveau, auf dem alle 8 Milliarden Menschen auf der Erde gleichzeitig Videoanrufe (@1.5Mb/s) führen könnten.

Zentrale Prinzipien

• Alles überall: Googles Rechenzentrumsnetzwerk unterstützt es, große Jobs irgendwo innerhalb desselben Network Fabric auf mehr als 100.000 Servern zu platzieren. Diese Größenordnung verbessert die Anwendungsleistung für interne und externe Workloads und beseitigt interne Fragmentierung.
• Vorhersagbare und niedrige Latenz: Durch die Bereitstellung von Bandbreiten-Headroom, die Aufrechterhaltung einer Netzwerkverfügbarkeit von 99,999 % und das proaktive Management von Engpässen durch die Zusammenarbeit von Endhosts und Fabric priorisiert Google konsistente Leistung und minimale Tail-Latenz.
• Softwaredefiniert und systemzentriert: Für Flexibilität und Agilität nutzt Google Software-defined Networking (SDN), validiert im globalen Netzwerk alle zwei Wochen Dutzende neuer Funktionen und rollt sie weltweit aus.
• Schrittweise Evolution und dynamische Topologie: Die schrittweise Evolution ermöglicht es, das Netzwerk im Detail zu erneuern, ohne es als Ganzes zu unterbrechen, und eine dynamische Topologie hilft, sich kontinuierlich an wechselnde Workload-Anforderungen anzupassen. Die Kombination aus Optical Circuit Switching und SDN unterstützt ein sich ständig weiterentwickelndes heterogenes Netzwerk, das physische Upgrades und mehrere Hardwaregenerationen innerhalb eines einzigen Fabric unterstützt.
• Traffic Engineering und anwendungszentriertes QoS: Die Optimierung von Traffic-Flüssen und die Sicherstellung der Servicequalität helfen dabei, das Netzwerk auf die Anforderungen jeder einzelnen Anwendung zuzuschneiden.
• Googles eigenes SDN-basiertes Jupiter-Netzwerk bietet mehr als 50-mal höhere Zuverlässigkeit als frühere Generationen.

Geschichte der Evolution

2015 - Jupiter, das erste Petabit-Netzwerk

• Google zeigte, dass das Jupiter-Rechenzentrumsnetzwerk unter Nutzung kommerzieller Switch-Siliziumchips, einer Clos-Topologie und Software-defined Networking (SDN) auf eine Gesamtbandbreite von 1,3 Pb/s skaliert.
• Die Datenübertragungsrate eines einzelnen Google-Rechenzentrums übertraf damals die geschätzte gesamte IP-Traffic-Datenrate des globalen Internets.

2022 - Unterstützung für 6 Petabit/s

• Google kündigte an, dass das Jupiter-Netzwerk durch die tiefe Integration von Optical Circuit Switching (OCS), Wavelength Division Multiplexing (WDM) und dem hochskalierbaren Orion-SDN-Controller auf mehr als 6 Pb/s skaliert.
• Diese Technologien ermöglichten eine Reihe von Fortschritten, darunter schrittweisen Netzwerkausbau, bessere Leistung, geringere Kosten, reduzierten Stromverbrauch, dynamisches Traffic-Management und nahtlose Upgrades.

2023 - Ein 13-Petabit/s-Netzwerk

• Google verbesserte Jupiter weiter, um im Netzwerkkern eine native Link-Geschwindigkeit von 400 Gb/s zu unterstützen.
• Die grundlegenden Bausteine des Jupiter-Netzwerks, sogenannte Aggregation Blocks, bestehen nun aus 512 Ports, die 400 Gb/s bidirektionale Non-Blocking-Bandbreite zwischen Endhosts und dem übrigen Rechenzentrum unterstützen.
• Unterstützt werden 64 solcher Blöcke für eine gesamte bidirektionale Bandbreite von 64*204.8 Tb/s = 13.1 Pb/s.
• Diese Technologie versorgt seit mehr als einem Jahr Googles Produktionsrechenzentren und treibt die rasante Entwicklung von künstlicher Intelligenz, maschinellem Lernen, Websuche und anderen datenintensiven Anwendungen voran.

Ab 2024 - Extremes Networking im KI-Zeitalter

• Google hat die Richtung für die nächste Generation der Netzwerkinfrastruktur zur Unterstützung künftiger KI bereits festgelegt.
• Das Unternehmen arbeitet an den Anforderungen an die Netzwerkinfrastruktur für die GPU-basierte A3 Ultra VM der nächsten Generation mit NVIDIA ConnectX-7 Networking.
• Diese unterstützt über RoCE (RDMA over converged ethernet) für GPU-zu-GPU-Traffic Non-Blocking-Bandbreite von 3,2 Tbps pro Server.
• Außerdem wird an künftigen Produkten auf Basis von NVIDIA GB200 NVL72 gearbeitet.

In den kommenden Jahren sollen transformative Anwendungen und Services durch bedeutende Fortschritte bei Port-/netzwerkweiter Bandbreite und Skalierung, stärkere Endhost-Integration, Topologie-Engineering in Echtzeit, tiefere Integration mit dem Compute-/Storage-Stack und verbessertes hostbasiertes Load Balancing unterstützt werden.