Pläne zum Aufbau eines eigenen Rechenzentrums

• Wenn du dein eigenes Rechenzentrum bauen willst

  • Railway hat seine Computing-Infrastruktur von Anfang an auf der Google Cloud Platform aufgebaut. Dadurch entstanden jedoch verschiedene Probleme bei Preisgestaltung, Service-Level und technischen Einschränkungen. Um diese Probleme zu lösen, wurde das Projekt Railway Metal gestartet und der erste Standort in Kalifornien aufgebaut.

• Wenn du deine eigene Cloud bauen willst

  • Das Projekt Railway Metal begann im Januar 2024, und es dauerte fünf Monate, bis der erste Server installiert war. Es mussten Fläche gesichert sowie Stromversorgung und Kühlung berücksichtigt werden. Von drei Hauptoptionen wurde Cage Colocation gewählt.

• Mit großer Macht kommt große Verantwortung

  • Bei der Planung eines Umzugs in ein Rechenzentrum muss die benötigte Computing-Kapazität berücksichtigt werden. Die Leistungsdichte ist ein wichtiger Faktor, und eine redundante Stromversorgung ist erforderlich. Die Stromverteilung erfolgt über eine Power Distribution Unit (PDU).

• Es werde Licht

  • Die Netzwerkanbindung ist entscheidend, und durch Verträge mit verschiedenen ISPs werden optimale Netzwerkpfade sichergestellt. Für jede Region werden passende ISPs ausgewählt und Redundanz über mehrere Regionen hinweg aufgebaut.

• Gänge, Racks und Overhead-Infrastruktur

  • In Rechenzentren sind Racks in Reihen angeordnet, und für den Luftstrom werden Gänge benötigt. Auch die Rack-Größe und das Kabelmanagement müssen berücksichtigt werden. Stromversorgung und Kühlung können stärkere Einschränkungen darstellen als der verfügbare Platz.

• Racks und Stacks

  • Saubere Verkabelung erfordert viel Übung und die Hilfe von Fachleuten. Die Installation wird mithilfe von Kabelmatrizen und Rack-Elevation-Dokumenten geplant. Die Installation dauert 6 bis 14 Tage.

• Vollgas mit Metal

  • Der installierte Cage ist wie eine leere Leinwand; erforderlich sind die Konfiguration der Netzwerkgeräte, das Einrichten der Router und die Aktualisierung der RIR-Einträge. Mit FRR und SONiC wird ein rein softwarebasiertes L3-Netzwerk aufgebaut.

  • In künftigen Beiträgen soll der Prozess behandelt werden, aus Servern funktionale Railway-Zonen zu machen. Dazu wurden zwei Software-Tools namens Railyard und MetalCP entwickelt, die das Entwerfen neuer Cages, die Visualisierung der Verkabelung und die Installation des OS auf Servern vereinfachen.

[GN⁺]

Hacker-News-Kommentare

• Es wird infrage gestellt, warum "colocation" als "Aufbau eines eigenen Rechenzentrums" bezeichnet wird; tatsächlich geht es nur darum, Server in Racks zu installieren
• Erinnerungen an unterhaltsame Episoden aus der Rackspace-Zeit
  • Ein Vorfall, bei dem EMC-Mitarbeiter während der Installation von Speichergeräten ein Server-Rack umkippten
  • Ein Vorfall, bei dem ein Rechenzentrum durch den Herzinfarkt eines Lkw-Fahrers offline ging
  • Die Erfahrung, Bandbreite per Laser in ein anderes Gebäude zu übertragen
  • Als Server wegen eines Brands Fenster einschlugen und Kastenventilatoren gekauft wurden
• Es wird erwähnt, wie sehr sich die Rechenzentrumstechnik weiterentwickelt hat, verbunden mit Erfahrungen aus der Zusammenarbeit mit Facebook
• Es wird auf das Problem des mangelhaften Kundensupports von Google hingewiesen
• Erfahrungen beim Aufbau der Infrastruktur von Blekko
  • Physische Colocation war wichtig, um "East-West"-Netzwerkverkehr zu verarbeiten
• Die Bedeutung der Kapazitätsberechnung für die HVAC-"CRAC"-Leistung eines Rechenzentrums wird betont
• Unzufriedenheit mit dem Kundenservice von Google
  • Im Vergleich zum Kundensupport von AWS und Microsoft
• Die Notwendigkeit von Tools wie NetBox wird erwähnt
• Erfahrungen mit Rechenzentrums-Deployments zwischen 2003 und 2010
  • Die Bedeutung von Kabelmanagement und Standardisierung wird betont
• Die Bedeutung eines "WTF"-Abschnitts im Rechenzentrum wird betont
• Es werden Erfahrungen mit dem Betrieb von VMs über Colocation geteilt, um AWS-Kosten zu senken
• Die Bedeutung des Besitzes eigener Assets als Infrastrukturunternehmen wird betont
  • Es wird erklärt, warum Cloudflare kostenlose Dienste anbieten kann
• Die Bedeutung von Kabelmanagement wird betont
  • Es wird darauf hingewiesen, dass bei der gemischten Nutzung von Kupfer- und Glasfaserkabeln Vorsicht geboten ist