Mit USB4 ein schnelles 10-Gbps-Full-Mesh-Netzwerk für 47,98 US-Dollar aufbauen

• Um die AWS-Kosten zu senken, wurde ein Bare-Metal-Kubernetes-Cluster aufgebaut und ein 10-Gbps-Netzwerk eingerichtet
• USB4-Ethernet-Bridge-basiertes Networking ersetzt herkömmliche Ethernet-Switches und Kabel
• Die Netzwerkgeschwindigkeit erreichte 11 Gbps, die Baukosten lagen jedoch bei nur 47,98 US-Dollar

Mini-PC statt Standard-1U-Server

• Bei der Einrichtung eines Bare-Metal-Clusters wurde über den passenden Maschinentyp nachgedacht
• Gebrauchte 1U-Server sind zwar günstig, unter Berücksichtigung der Betriebskosten aber ineffizient
• Mini-PCs sind günstig, leise und haben einen niedrigen Stromverbrauch
• Gewählt wurde der Mini-PC Venus UM790 Pro mit niedrigem Stromverbrauch (6 W im Leerlauf, maximal 80 W unter Last)
  • AMD Ryzen 9 7940HS CPU + 64 GB Arbeitsspeicher + 1 TB Speicher für günstige 779 US-Dollar

Networking

• Mit zwei weiteren UM790-Pro-Mini-PCs sollte auf ein 3-Knoten-Cluster erweitert werden
• Nach der Installation des Ceph-Storage-Systems wurde eine bessere Netzwerkverbindung zwischen den Knoten nötig
  • Die Geräte haben zwar 2,5G-Netzwerkports, aber es müsste zusätzlich ein Ethernet-Switch gekauft werden
• Da die Geräte sogar über zwei USB4-Ports verfügen, wurde die Möglichkeit von 40 Gbps in Betracht gezogen
• Mit USB4-Kabeln wurde ein Full-Mesh-Netzwerk aufgebaut, wodurch im Vergleich zum Kauf eines 2,5G-Ethernet-Switches Kosten gespart wurden

Aufbau eines Mesh-Netzwerks mit NixOS und systemd

• Mit NixOS wurde eine reproduzierbare Linux-OS-Konfiguration umgesetzt.
• Mit systemd-udevd wurden Thunderbolt-Bridge-Netzwerkgeräte konfiguriert und IP-Adressen gesetzt.

Benchmark-Ergebnisse

• iperf3-Benchmark-Ergebnisse bestätigten eine Netzwerkgeschwindigkeit von 11 Gbps

Rückblick

• Zufriedenheit darüber, ein 11-Gbps-Netzwerk zu geringen Kosten aufgebaut zu haben.
• Neugier auf die Ursache der Geschwindigkeitsbegrenzung im USB4-basierten Netzwerk.
• Erkundung zukünftiger Möglichkeiten für den Aufbau schneller Netzwerke auf USB-/Thunderbolt-Basis.

Meinung von GN⁺:

• Dieser Artikel betont, wie wichtig es ist, dass Software Engineers ihr Wissen über Hardware erweitern. Insbesondere zeigt er einen kreativen Ansatz, mit dem sich ein schnelles Netzwerk zu geringen Kosten aufbauen lässt, und präsentiert damit eine neue Alternative zu herkömmlichen Netzwerkmethoden.
• Das Networking mit USB4 zeigt, dass es im Vergleich zu bestehenden Ethernet-basierten Lösungen kosteneffizient ist und hohe Geschwindigkeiten bietet. Das könnte künftig eine attraktive Option für kleine Rechenzentren oder Privatanwender sein.
• Wie sich mit Tools wie NixOS Netzwerkkonfigurationen automatisieren und reproduzierbar machen lassen, bietet nützliche Informationen für Systemadministratoren und Entwickler.

[aster]

Ich dachte, das wäre eine Aufforderung, alles zu kaufen …

[pmc7777]

Das ist wirklich gut zusammengestellt … ich bin neidisch.

[bus710]

Ich nutze IP over TB4/USB4 zum Übertragen von Dateien und es ist wirklich schnell, haha.

[bus710]

Wenn thunderbolt-tools und die bolt-Pakete installiert sind und der Treiber korrekt eingerichtet ist, kann man die Schnittstelle mit nmcli konfigurieren und sie dann mit ssh oder scp genauso einfach wie eine Ethernet-Verbindung nutzen.
Mit Intel-Geräten und Macs gab es keine größeren Probleme, bei AMD kann es jedoch einige Geräte geben, bei denen es nicht ganz funktioniert.

[kuroneko]

Hätte ich das gewusst, hätte ich wohl eine Intel-CPU gewählt … schluchz

[kuroneko]

Äh … wenn man USB4/Thunderbolt direkt zwischen zwei PCs verbindet, wird das als Ethernet behandelt?

Ich hatte gerade alle möglichen Pläne gemacht, um eine 10Gbps-Verbindung zwischen meinem NAS und meinem PC hinzubekommen
(ich wollte zwei 10G-fähige Netzwerkkarten kaufen und sie direkt miteinander verbinden)

Jetzt fühle ich mich irgendwie ziemlich ernüchtert.

Hätte ich einfach auf ein Mainboard mit USB4/Thunderbolt-Support wechseln sollen …

[kuroneko]

Als ich das auf HN nur im Vorbeiscrollen gesehen habe, bin ich ohne große Gedanken daran vorbeigegangen,
aber als ich es hier gesehen habe, ist mir der Inhalt plötzlich ins Auge gesprungen;

Jedenfalls sehe ich dadurch jetzt eine Lösung vor mir...

Ein Nachteil wäre wohl nur, dass NAS und PC nahe beieinander stehen müssen.
USB4-Kabel sind schließlich höchstens etwa 3 m lang ... (verglichen mit Netzwerkkabeln, die bis zu 100 m lang sein können)

[molla]

Die Entfernungsbeschränkung ist stärker als erwartet.
Der USB-C-Kabelstandard unterstützt 10 Gbit/s nur bei einer Länge von höchstens 1 m. (Deshalb sind USB-C-Datenkabel kurz.)
Bei bis zu 2 m werden 5 Gbit/s unterstützt, darüber hinaus nur USB 2.
Wenn man stattdessen ganz auf Thunderbolt setzt, lässt sich die Distanz mit aktiven Kabeln verlängern, aber aktive Kabel sind extrem teuer, und ich bin mir auch nicht sicher, ob sie mit USB4 kompatibel sind.

[kuroneko]

Aha … Dann ist es also gut möglich, dass die derzeit erhältlichen 3-m-USB4-Kabel keine ordentliche Geschwindigkeit liefern.
Dann sollte ich mich wohl erst genau informieren. Da ich eine AMD-CPU nutze, ist Thunderbolt leider auch schwer zu verwenden :(

[GN⁺]

Hacker-News-Kommentare

• Diskussion über das USB4-/Thunderbolt-Protokoll:

  • USB4/Thunderbolt ist ein fast magisch wirkendes Protokoll, und die schnellste Methode, Daten zwischen modernen PCs zu übertragen, besteht darin, die Thunderbolt-Ports mit einem USB-C-Kabel zu verbinden.
  • Diese Verbindung wird unter Windows als Ethernet-Port erkannt, und Übertragungsraten von über 1 GB/s, die eine SSD auslasten können, lassen sich leicht erreichen.
  • Intel demonstrierte auf der CES eine Dateiübertragungsfunktion zwischen Geräten mit Thunderbolt 4/5. Theoretisch bieten Thunderbolt 4 und 5 Geschwindigkeiten von 20 Gbps bzw. 40 Gbps.
  • Wenn nur ein einziger Thunderbolt-/USB4-Controller verwendet wird, könnten nur 11 Gbps erreicht worden sein, weil sich zwei USB4-Ports die 40-Gbps-PCIe-Lanes teilen.

• Erklärung der Netzwerkstruktur:

  • Bei nur 3 Knoten spricht man nicht von einem Mesh-Netzwerk; ein echtes Ringnetzwerk entsteht bei 3 oder mehr Knoten, wenn einige Ziele über mehrere Hops erreicht werden müssen.
  • Ein Mesh-Netzwerk bezeichnet ein Netzwerk aus beliebigen Punkt-zu-Punkt-Verbindungen, in dem mehrere Pfade möglich sind.

• Benchmark zum Stromverbrauch eines Dell-Servers:

  • Bei der Messung des Stromverbrauchs eines Dell-r430-Servers zeigte sich, dass er nach dem Booten etwa 100 Watt und unter Last maximal etwa 220 Watt verbraucht.
  • Das entspricht 72 kWh pro Tag und Kosten von 11,05 $ pro Monat; unter Last entstehen monatliche Kosten von 24,3 $.
  • Für Server-Hosting ist Colocation sinnvoll, um Probleme mit stabiler Internetanbindung und Lärm zu lösen.

• Fehlerbehandlung von USB 4:

  • Es wird gefragt, wie gut USB 4 mit seltenen Datenbeschädigungen bei der Übertragung großer Datenmengen über USB umgehen kann.

• Frühere Methoden der Dateiübertragung:

  • Es werden Erinnerungen an Dateiübertragungen zwischen MS-DOS-Computern per Parallelkabel geteilt.

• Optimierung von Thunderbolt-Verbindungen:

  • Bei Thunderbolt-Verbindungen liefert eine MTU (Maximum Transmission Unit) von 9000 eine bessere Leistung als 1500.

• Rückblick auf historische Netzwerkstrukturen:

  • Es wird von einer Erfahrung berichtet, in den 1990er-Jahren 8 PCs über IP-over-SCSI mit U320-Geschwindigkeit an eine einzige SCSI-Kette angeschlossen zu haben.

• Technische Probleme im Zusammenhang mit Thunderbolt-Geschwindigkeit:

  • Als Faktoren, die die Thunderbolt-Geschwindigkeit beeinflussen, werden Kabel, die PCIe-Lane-Zuweisung des Mainboards sowie Treiber-/Firmware-Updates genannt.

• Diskussion über Strompreise:

  • Es wurde die Information genannt, dass der durchschnittliche Strompreis für Privathaushalte bei 15,34 Cent/kWh liegt, zugleich wurde aber aus persönlicher Erfahrung berichtet, dass man in San Francisco mehr als das Doppelte bezahlt.

[cosine20]

Und alte Computer konnten also Daten austauschen, wenn man sie mit einem Parallelkabel verbunden hat???