2 Punkte von GN⁺ 2023-08-11 | 1 Kommentare | Auf WhatsApp teilen
  • Im zentralen Wandschrank des Hauses steht ein 25U-StarTech-Rack, das Cat6, Glasfaser, Firewall, Switches, Server und UPS zusammenführt, sodass Verkabelung und Stromversorgung des gesamten Heimnetzwerks an einem Ort verwaltet werden können
  • Die Hauptleitung ist AT&T Fiber 1Gb symmetrisch, das Backup ist Verizon 5G für 50 US-Dollar im Monat; mit der pfSense Gateway Group wird bei Ausfällen die Internet-Route umgeschaltet
  • Das interne Netz kombiniert eine pfSense-Firewall, Dell- und Cisco-Switches, ein 10Gb-SFP+-Backbone, VLANs und PoE, um Traffic von Kameras, APs, Servern und NAS getrennt zu verarbeiten
  • Auf drei ESXi-7.0-U3-Hosts, einem TrueNAS-NAS, einem JBOD-Disk-Shelf und einem Blue-Iris-NVR laufen zu Hause zahlreiche Dienste wie HomeAssistant, Backups, Monitoring, Blog und PLEX
  • Bis zum Rack in der Garage ist Glasfaser verlegt; dazu kommen UPS, Generator, GPS-NTP, ADS-B und ein WeatherFlow-Empfänger, sodass auch Stromausfälle und Leitungsstörungen in dieser Heiminfrastruktur mitgedacht sind

Zentrales Rack und die Verkabelung im ganzen Haus

  • Das Rack im Haus steht in einem zentralen Wandschrank; dank eines 2ft x 2ft großen Bereichs zum Dachboden lassen sich Netzwerkkabel leicht nach oben führen
  • Das Rack ist ein 25U verstellbares StarTech Rack, im oberen Bereich sind Netzwerkgeräte und Patchpanels untergebracht
  • Ganz oben befinden sich zwei Monoprice Keystone-Patchpanels
    • Die meisten sind mit Cat6-Keystone-Jacks bestückt
    • Einige sind LC-LC-Keystone-Jacks für längere Glasfaserstrecken
    • Die Verbindungen führen zu Kameras, APs, Netzwerkdosen und anderen Anschlüssen im Haus
    • Bei Keystone-Patchpanels lassen sich Jacks hinzufügen oder entfernen, ohne das ganze Panel zu bewegen, was das Risiko verringert, andere Verbindungen zu stören
  • Das Kabelmanagement erfolgt mit einfachen 1U-Kabelmanagern von Amazon und Monoprice SlimRun Cat6a-Kabeln

Doppelte Internetanbindung und pfSense-Firewall

  • Unter den Patchpanels befindet sich ein 1U-Supermicro-Server mit pfSense
    • Intel Pentium Gold G5500
    • 8 GB ECC-RAM
    • 4 integrierte Intel-NICs
    • Mellanox Connect-X3 10Gb NIC für LAN und VLAN
  • Der Grund für 10Gb-Verbindungen zu LAN und VLAN ist, dass die Firewall das Inter-VLAN-Routing übernimmt und der 1Gb-Uplink zum Switch durch das symmetrische 1Gb-Internet leicht ausgelastet werden konnte
  • Es gibt zwei Internetanschlüsse
    • AT&T Fiber: 1Gb symmetrisch, kein Datenlimit, Hauptleitung
    • Verizon Gateway: etwa 300 Mb/s Download und 20 Mb/s Upload, 50 US-Dollar pro Monat, keine Vertragsbindung, kein Datenlimit, Backup-Leitung
  • Beide Leitungen sind in der Gateway Group von pfSense zusammengefasst; normalerweise wird AT&T Fiber genutzt, bei Ausfällen Verizon
  • Die AT&T-Verbindung ist für eingehende Verbindungen im Passthrough-Modus konfiguriert
  • Die Verizon-Verbindung bleibt in der Standardkonfiguration, da sich die IP häufig ändert und pfSense dabei manchmal Probleme hat
    • pfSense erhält eine interne IP
    • Eingehende Verbindungen über Verizon sind nicht wichtig, aber ein Remote-Access-VPN und einige Security-Geräte müssen erreichbar sein
  • Um NAT zu umgehen, ist ein Linode-VPS mit einem Site-to-Site-WireGuard VPN eingerichtet
    • Das lokale pfSense ist der Client, der VPS der Server, womit NAT praktisch umgangen wird
    • Das ist auch in CGNAT-Umgebungen nützlich
    • Auf dem VPS ist Forwarding aktiviert, um auf das lokale Netzwerk zuzugreifen
    • NGINX Proxy Manager leitet bestimmte Ports bis ins Heimnetz weiter
    • Unabhängig davon, welches Gateway zu Hause genutzt wird, ist der Zugriff über dieselbe IP oder denselben DNS-Record möglich
  • Auch der selbst gehostete Blog ist auf diese Weise angebunden

Switches, VLANs und WLAN

  • Der wichtigste 1Gb-Switch ist ein Dell X1052P, der die meisten 1Gb-Verbindungen im Haus und PoE abwickelt
    • Unterstützt PoE und PoE+
    • Versorgt APs, kleine Netzwerkgeräte und viele IP-Kameras mit Strom
    • Die blauen Verbindungen gehören zu den Haus-IP-Kameras in einem separaten VLAN
    • Die Verbindung zum zentralen 10Gb-Switch erfolgt über einen 20Gb-LACP-Trunk
    • Vorteile sind 4x 10Gb, PoE+, Gleitschienen und eine gute Lüfterqualität
    • Ein großer Nachteil ist das Fehlen einer CLI-Konfiguration und die sehr schlechte Weboberfläche
  • Der Cisco SG300-28 wurde ergänzt, weil die 1Gb-Ports des Dell X1052P nicht ausreichten
    • Dort hängen Geräte mit geringer Bandbreite wie IPMI und Drucker
    • Er ist per einzelner 1Gb-Verbindung mit dem Dell-Switch verbunden
    • Der zweite Port des Verizon Gateway ist an ein separates VLAN angeschlossen, um pfSense zu umgehen und direkt ins Verizon-Internet zu kommen
    • Das ist nützlich für RIPE-Atlas-Probes, Tests externer Erreichbarkeit und Tests ohne DNS- oder Firewall-Regeln
  • Der zentrale 10Gb-Switch ist ein Cisco SX350-24F
    • Ein 24-Port-10Gb-SFP+-Switch, davon 4 als Copper-Combo-Ports
    • Das NAS ist per dualem 10Gb angebunden
    • Angeschlossen sind ein ESXi-Server, zwei Desktop-PCs, der Firewall-Uplink, das Garagen-Rack und der LACP-Trunk des Dell-Switches
    • Mit WiiTek-Transceivern wird dem HTPC eine 2,5Gb-Verbindung bereitgestellt
    • Der Switch selbst unterstützt nur 1Gb und 10Gb, aber die Transceiver übernehmen die Multigig-Verbindung
  • Für WiFi sind im Haus und in der Garage vier Ruckus-APs verteilt
    • An der Decke im Haus ist ein R510 montiert
    • Außen an der Garage sitzt ein R320; obwohl er nicht für den Außeneinsatz gedacht ist, läuft er seit über drei Jahren problemlos
    • Die Ruckus-APs sehen laut Einschätzung weniger gut aus als Ubiquiti-APs, funktionieren aber deutlich besser
    • Verwendet wird der Unleashed-Modus, bei dem ein AP als Controller für alle APs dient und kein separater Controller nötig ist

Server, Storage und lokale Dienste

  • Unter der Netzwerktechnik stehen ein Regal für Geräte mit niedrigem Stromverbrauch und drei VMware-ESXi-Hosts
  • Auf dem oberen Regal befinden sich kleine Hubs, Zeitserver und eine RIPE-Atlas-Probe
    • Hubitat Hub
    • Raspberry Pi 3B+ als NTP-Server mit GPS/PPS-Zeitquelle
    • Neue RIPE-Atlas-Probe direkt an der Verizon-Leitung
    • Raspberry Pi Zero W mit GPS NTP
    • Ältere RIPE-Atlas-Probe an der AT&T-Leitung
  • Der Hubitat Hub wurde fast vollständig durch eine HomeAssistant-VM ersetzt
    • Er dient aktuell hauptsächlich noch zum Anbinden von Z-Wave- und Zigbee-Geräten
    • Einige weiterhin benötigte Geräte sind etwa Rauchmelder und Leckagesensoren
  • Die RIPE-Atlas-Probe dient dazu, zu Internet-Messungen beizutragen
  • Die GPS-basierten NTP-Server liefern auch ohne Internet eine sehr genaue Zeit an die Netzwerkgeräte
  • Alle ESXi-Hosts laufen mit ESXi 7.0 U3
    • Da der Umstieg von 6.7 auf 7.0 viele Bugs hatte, wurde noch nicht auf 8.0 gewechselt
    • Zu den laufenden Diensten gehören Veeam Backup, Borg Backup, Arq Backup, HomeAssistant, HomeBridge, NGINX Proxy Manager, vCenter, Rekor Scout/OpenALPR, Grafana, InfluxDB, LibreNMS, VDI-VMs, Test-VMs, ein Windows-Domain-Lab, Portainer, Kiwix, NextCloud, Mealie, Navidrone, Solarr, PLEX, ein öffentlicher SFTP-Server, Netbox, qBitTorrent, Prowlarr und der Blog
  • Die drei ESXi-Hosts sind wie folgt aufgebaut
    • ASUS PN50: AMD Ryzen 4800U mit 8 Kernen und 16 Threads, 64 GB DDR4, 2 TB NVMe; da die integrierte NIC unter ESXi nicht unterstützt wird, kommt eine 1Gb-Intel-M.2-NIC zum Einsatz
    • Lenovo M73 Tiny: i5-4750T, 16 GB RAM, 1 TB SATA SSD; für leichte VMs, muss aber ersetzt werden, da die NIC in VMware 8.0 nicht mehr unterstützt wird
    • Lenovo M720q Tiny: i7-8700T, 64 GB RAM, 2 TB NVMe, Intel X520 dual 10Gb NIC; zuständig für netzwerkintensive VMs
  • Drei 2U-Supermicro-Chassis übernehmen Storage und NVR
    • Das erste ist ein JBOD-Disk-Shelf mit 12 x 8TB SAS-Festplatten und dient als primärer Medienspeicher für das NAS
    • Statt eines SuperMicro CSE-PTJBOD-CB2 wird die PSU-Verbindung per Paperclip überbrückt, damit das Gerät rund um die Uhr eingeschaltet bleibt
    • Das zweite ist ein TrueNAS-NAS mit Xeon E3-1270 V5, 64 GB ECC-RAM, dual-port 25Gb NIC und mehreren HBAs
    • Ein LSI 9207-8e ist mit den 12 x 8TB SAS-Festplatten verbunden, ein LSI 9300 mit 6 x 4TB SAS im Striped-Mirror für wichtige Daten
    • Zwei Intel S3700 DC 800GB Enterprise SSDs dienen als Metadata-Storage, also als Fusion Pool
    • Verwandter Beitrag: My Data Backup Plan - 2021
  • Der dritte Server ist ein Blue Iris NVR
    • 8-Bay-Supermicro-Chassis
    • i7 8700K, 16 GB DDR4, NVIDIA Tesla P4, LSI 9207-8i
    • Rund 48 TB Aufzeichnungsspeicher
    • Nutzt lokale AI, um etwa Personen zu erkennen, die sich auf dem Grundstück bewegen
    • Verwendet eine Intel i350-T4 Quad-Port-Gigabit-NIC; ein Port für LAN, ein Port für das CCTV-VLAN
    • Das CCTV-VLAN ist per Firewall vollständig vom restlichen Netzwerk und vom Internet isoliert
  • Da der NVR auf einem Consumer-Board läuft und keine Remote-Verwaltung hat, sorgt ein TinyPilot für Fernsteuerung bis auf BIOS-Ebene

Stromversorgung, Kühlung, Garagen-Rack und externe Sensoren

  • Unten im Hauptrack stehen ein CyberPower PDU15M2F10R Metered PDU und eine APC SRT3000RMXLA Double-Conversion-/Online-USV
  • Mit zunehmender Zahl an Geräten und Festplatten wurde der Raum zu warm, daher kam ein AC Infinity Fan hinzu
    • Der Lüfter bläst die Luft in einen leeren Schrank auf der Rückseite
    • Temperaturfühler und Controller sind an der Vorderseite des Racks montiert
  • Ein Vertiv/Giest Watchdog 15-P ist ein per PoE versorgter Umweltsensor
    • Er kann Benachrichtigungen senden, wenn Temperatur oder Luftfeuchtigkeit bestimmte Schwellen überschreiten
    • Es sind Warnungen für hohe Temperatur und niedrige Luftfeuchtigkeit eingerichtet
    • Über SNMP können die Daten in Monitoring-Lösungen eingebunden werden
  • In die Garage führt Singlemode-Glasfaser (SMF) durch ein Leerrohr
    • Zwischen Haus und Garage verläuft dort auch die AT&T-Fiber-Leitung
    • Wegen der dünnen Glasfaser auf einer Strecke von 80 Fuß unter einer Eiche und der häufigen Gewitter gibt es das Verizon-Backup-Internet
  • Das Garagen-Rack ist ein kostenlos erhaltenes 12U-Rack; bei tiefen Geräten ist die unterste 1U praktisch kaum nutzbar, effektiv also eher 11U
    • Darin steckt ein Cisco WS-C2960S-48LPD-L mit 48 x PoE+ 1Gb Ports und 2 x 10Gb SFP+ Ports
    • Außerdem gibt es ein APC Surge Protector PDU und einen Backup-TrueNAS-Server
    • Der Backup-TrueNAS basiert auf Altteilen und nutzt 4 x 8TB SAS-Festplatten in RAIDZ2
    • Er dient ausschließlich dazu, replizierte Snapshots vom primären NAS zu empfangen
    • Verwandter Beitrag: Deploying a TrueNAS Backup Server to my hot Texas Garage
  • Auch im Garagen-Rack gibt es TinyPilot, einen GPS-basierten Raspberry-Pi-NTP-Server und eine USV
  • An den Sparren der Garage hängt eine ADS-B-Antenne; ein Raspberry Pi mit SDR sendet Flugzeug-ADS-B-Daten an FlightAware, FlightRadar24, ADSB-X und andere
    • Eine Außenmontage der Antenne wäre besser und ist als künftiges Projekt geplant
  • Im Garagen-Rack befindet sich außerdem ein WeatherFlow Tempest Receiver
    • Er ist mit der Wetterstation auf einem hohen Mast im Hinterhof verbunden
    • Über MQTT lassen sich die Daten ohne Internet in das lokale HomeAssistant einspeisen und für sensorbasierte Automatisierung nutzen
  • Außerhalb des Hauses befinden sich die ATS des Generators und das Elektro-Panel
    • Der Generator hat 27 kW und versorgt das gesamte Haus mit Strom
    • Für Start und Umschaltung des Generators werden rund 10 Sekunden benötigt, daher muss die USV nur etwa 10 Sekunden überbrücken
  • Als zukünftiges Projekt ist eine permanente Installation von Meshtastic LoRa T-Beam geplant, um verschlüsselte Mesh-Kommunikation ohne Internet umzusetzen
    • Mit einem Gerät im Haus und einem am Körper sind mit Standardantennen und ohne Höhenvorteil bereits etwa 2 Meilen Reichweite möglich
    • Mit besseren Antennen in höherer Position dürfte Kommunikation im gesamten Viertel ohne Internet machbar sein
    • Aktuell steht eines als Repeater auf dem Schreibtisch und ist per WiFi mit dem Netzwerk verbunden

1 Kommentare

 
GN⁺ 2023-08-11
Meinungen auf Hacker News
  • Früher habe ich alles selbst gehostet und ein übertriebenes Heimnetzwerk betrieben, sogar mit 10G-Backbone; inzwischen ist es aber deutlich pragmatischer geworden.
    Es gibt nur noch genau zwei kabelgebundene Geräte, der Rest läuft über Wi-Fi, und im Netzwerkschrank sind nur noch die Firewall und ein 16-Port-PoE-Switch übrig.
    Das NAS habe ich abgeschafft, weil die Strompreise im vergangenen Winter häufig über 1 €/kWh lagen und die rund 35 kWh pro Monat zur Belastung wurden. Stattdessen lade ich die Daten verschlüsselt mit Cryptomator in Cloud-Storage für etwa 20 € pro Monat hoch und habe zusätzlich redundante Cloud-Backups bei einem anderen Anbieter.
    Zu Hause ist nur noch ein ARM-Gerät geblieben, das täglich lokale Backups der Cloud-Daten macht und über eine einzelne externe USB3-Festplatte eine kleine Plex-Bibliothek betreibt. Dadurch habe ich nicht nur Strom- und Hardwarekosten gesenkt, sondern auch enorm viel freie Zeit gewonnen.
    Die Firewall ist bis auf ein WireGuard-VPN komplett geschlossen, und abgesehen von der üblichen Patch-Routine gibt es inzwischen kaum noch etwas zu warten.

    • Bei mir war es ähnlich: Nach einem kürzlichen Umzug habe ich lediglich CAT6 vom Internet-Einspeisepunkt bis zum PoE-Switch auf dem Dachboden gezogen und daran ein paar WiFi6-APs angeschlossen.
      Kameras, Smart Switches, Arbeitslaptop und sogar ein RPi4 für Projekte laufen alle völlig ausreichend über Wi-Fi; das einzige direkt per Ethernet angeschlossene Gerät ist ein headless Gaming-Desktop auf dem Dachboden.
      Den nutze ich gelegentlich fürs Game-Streaming auf den Laptop, aber die CAT6-Verkabelung nach außen war nicht gerade angenehm. Wenn der ursprüngliche Autor das aber so wollte, respektiere ich das.
    • Ich bin in dieselbe Richtung gegangen, ehrlich gesagt wegen IT-Burnout.
      Von einer viel zu komplexen Konfiguration habe ich auf einen Ruckus-AP als Unleashed-Gateway reduziert, direkt am FiOS ONT angeschlossen, und am zweiten Port hängt noch ein QNAP.
      Das ist inzwischen das gesamte Netzwerk; genug Speicher für Medien, HomeAssistant und Tailscale reichen mir.
    • Ich empfehle, statt Cryptomator einmal Rclone(https://github.com/rclone/rclone) auszuprobieren.
      Das war deutlich robuster und leistungsfähiger; ich habe ebenfalls Cryptomator genutzt, aber ab einer gewissen Datenmenge wurde es langsam und schwer zu handhaben.
      Als ich später die Daten wieder herausholen wollte, waren die Metadaten aller Dateien zurückgesetzt, sodass ich zum Beispiel nicht mehr erkennen konnte, wann ein Foto aufgenommen worden war.
    • Ich habe weiterhin ein lokales NAS und plane, es dieses oder nächstes Jahr aufzurüsten.
      Trotz Komplexität und Stromkosten möchte ich meine Daten nicht Cloud Computing anvertrauen.
      Das ist für mich der Preis der Freiheit.
    • Wenn ein NAS 35 kWh pro Monat verbraucht, entspricht das etwa 50 W.
  • Ich frage mich, ob es einen Beitrag gibt, der das „Warum?“ hinter all dem behandelt.
    Selbst aus der Perspektive von jemandem, der darüber nachdenkt, ein wenig Ethernet zu verlegen, um stabileres Wi‑Fi und schnellen allgemeinen Internetzugang zu haben, wegen der Möglichkeit größerer Kabellängen auch Glasfaser für Dinge wie Infotainment in Betracht zieht und recherchiert, ob sich Überwachungskameras und Naturbeobachtungskameras anbinden lassen, fällt es schwer zu verstehen, wozu man ein Setup in dieser Größenordnung braucht, wenn es nicht um ein Hobby oder ein Heimbusiness geht.
    Zum Beispiel frage ich mich, ob es sich wirklich lohnt, 600 Dollar für redundantes Internet auszugeben, nur um ein paar Minuten Internetausfall pro Jahr zu vermeiden, und warum man Konnektivität auf diesem Niveau braucht.

    • Ich habe über mehrere Jahre hinweg ein ziemlich ernsthaftes Homelab aufgebaut, um 24/7-Services möglichst robust zu betreiben.
      Wenn man etwa VMs auf einer separaten Storage-Schicht laufen lässt, hat das aus sehr langfristiger Wartungssicht durchaus praktische Aspekte, aber größtenteils fühlte es sich genau so an wie damals, als ich als Kind zum ersten Mal Computer erkundet habe.
      Ich bin jetzt 43 und bin auf Dinge gestoßen, denen ich zuvor nie begegnet war; der Prozess, sie zu lösen, war wirklich befriedigend.
      Ich bin auch Spieleentwickler und habe gemerkt, dass ich technische Rätsel mag; Spieleentwicklung ist ein fruchtbarer Boden für solche Rätsel.
      Allerdings gibt es da eine völlig neue Welt aus Enterprise-Networking, Storage und Virtualisierung, der man im normalen Softwareentwicklungsprozess üblicherweise nicht begegnet.
      Als Bonus habe ich auch viele Build-Systeme für Freunde eingerichtet; eine in Infrastruktur bewanderte Person zu sein, ist in der digitalen Welt ein bisschen so, als hätte man einen Pickup und würde ständig Leuten beim Umzug helfen.
    • Für mich persönlich ist es nur eine weitere Form des Herumbastelns.
      Niemand muss das unbedingt tun, genauso wenig wie man unbedingt seinen eigenen Computer, sein Auto oder sein Haus kaufen und warten muss; man tut es, weil man es kann und weil es Spaß macht.
      Allerdings würde ich absolut nicht empfehlen, dass ein Unternehmen Ressourcen im eigenen Zuhause für die Arbeit nutzt, wenn man nicht genau weiß, was man warum tut.
      Selbst als Security-Experte hat mein Homelab Schwachstellen, und je mehr bewegliche Teile es gibt, desto viel größer wird die Angriffsfläche.
      Es gibt Gründe, warum Unternehmen viel Geld für Managed Security Services bezahlen, und die meisten Homelabs, die ich gesehen habe, dienten dem Spaß und der persönlichen Befriedigung.
      „Was nützt Wissen, das man nicht anwendet?“ ist die Motivation, die einen zu solchen Dingen treibt, und ich glaube nicht, dass ich damit allein bin.
    • Es gibt auch Gründe jenseits von schlicht „weil Herumbasteln Spaß macht“.
      Es ist nicht so, dass ich gern Dinge wie Ceph oder Proxmox verwalte; ich mag die Fähigkeit, ohne Sorge um Cloud-Kosten beliebige Dinge auf einem leistungsstarken Cluster mit 10Gb-Anbindung bereitzustellen.
      Würde ich das, was auf meiner Heiminfrastruktur läuft, in der Cloud nachbilden, würde das für Compute 200–300 Dollar pro Monat kosten und für Storage leicht noch einmal 300 Dollar im Monat.
      Stattdessen habe ich etwa 2.000 Dollar für Hardware ausgegeben und zahle ungefähr 35 Dollar Strom im Monat.
      Bei 3D-Druckern ist es ähnlich: Manche installieren gern Klipper und tunen auf die schnellste Benchy-Zeit, ich dagegen mag es, in CAD etwas zu bauen und es möglichst schnell in den Händen zu halten.
      Wer allerdings so weit geht wie der ursprüngliche Autor, hat sehr wahrscheinlich wirklich Freude am Basteln selbst.
    • Ich arbeite ungefähr seit 2005–2006 remote und mochte, wann immer möglich, immer eine gute Internetverbindung mit Backup.
      Ich erinnere mich auch daran, wie ich mich im Jahr 2000 mit dem lokalen Kabeltechniker angefreundet habe, um 1 Mbps zu bekommen.
      Heute bündle ich drei Internetanschlüsse und nutze sie mit Load Balancing; die Frage ist nicht, ob es im Jahr ein paar Minuten ausfällt, sondern dass es nicht gerade dann ausfällt, wenn man es wirklich braucht.
      Es gibt genug Zeit ohne Internet und auch genug freie Zeit mit mir selbst oder der Familie, aber ich mag, dass das Internet weder beim Arbeiten noch beim Spielen zum Bottleneck wird.
      Ich nutze diese Konfiguration seit ungefähr dem Beginn der Pandemie, und seitdem hatte unser Haus praktisch keinen „Internetausfall“ mehr.
      Ich arbeite nicht im Bereich Server, DevOps oder Networking, aber ich bastele gern an solchen Dingen herum und möchte irgendwann ein „übertriebenes Heimnetzwerk“ haben.
      In Indien ist Internet sehr günstig, daher kann man alle drei Anschlüsse zu einem ziemlich vernünftigen Preis nutzen https://www.instagram.com/p/CUWeopdPVOp/
    • Warum nicht, denke ich mir.
      In dem Haus, das ich während Corona verkauft habe, gab es ein ziemlich ausgefeiltes Setup, und glücklicherweise mochte der Käufer es auch.
      Jeder Flügelbereich hatte einen eigenen Verteilerschrank, die untereinander über einen Glasfaser-Backbone verbunden waren; die externen Leitungen waren nicht so ausgefeilt wie im ursprünglichen Beitrag, aber es gab viele Geräte, also wollte ich die Funkbandbreite für mobile Geräte freihalten.
      Ein nützlicher Trick war, in jedem Zimmer mindestens eine Dose zu haben, normalerweise sogar eine pro Wand.
      Hinter den Wandplatten befand sich jeweils eine NEMA-Box, von der aus ein Leerrohr direkt in den Raum unter dem Fußboden führte.
      In unserem Haus war der Raum unter dem Fußboden 6 Fuß hoch und damit praktisch kein „Kriechkeller“; dadurch konnte man Kabel nicht nur bei der Erstverkabelung, sondern auch bei selten nötigen späteren Ergänzungen leicht ziehen.
      Weil die Leerrohre gerade verliefen und nicht wie Rattenschwänze verworrene Wege nahmen, war auch das Kabelmanagement einfach.
  • Um ehrlich zu sein: Die meisten von uns wären auf diese Netzwerkkonfiguration wohl neidisch und würden sich wünschen, das Geld und die Zeit zu haben, um etwas Ähnliches zu besitzen.
    Extrapunkte gibt es dafür, dass sie per Solarstrom versorgt wird, und für die „kleinen“ Geräte wie ADB, NTP, LoRa, TinyPilot, MQTT sowie Temperatur-, Feuchtigkeits- und Stromüberwachung.
    @monstermunch lebt den Traum.

    • Ziemlich viele von uns sind irgendwann im Leben bis zu diesem Punkt gegangen und haben inzwischen wieder verkleinert, oder sie würden schon beim Gedanken daran schaudern, dieses riesige Rack weiter zu betreiben und zu aktualisieren.
    • Ich baue und nutze so etwas zwar auch selbst, aber neidisch bin ich nicht.
      Ein lüfterloser N6005-Mini-PC mit mehreren 2.5GbE-Ports und ein günstiger Barebone-Wi-Fi-AP reichen bei mir für Router, Switch, Storage, Valheim- und Satisfactory-Game-Server, chrony-Zeitserver, unbound DNS mit Blocklisten, InfluxDB und MQTT.
      Zusammen verbraucht das unter 20 W und kommt dabei nicht ins Schwitzen.
    • Auffällig ist, dass der Geräuschpegel in diesem Raum überhaupt nicht erwähnt wird.
      Rack-Server sind absurd laut.
      Ich hatte in einem Sommer einen SuperMicro im Keller stehen, musste ihn nach etwa einem Monat wieder entfernen, und man hörte ihn im ganzen Haus.
    • Mich interessiert die Colocation-Konfiguration mehr als das Setup zu Hause.
      Ich habe zwei 1U-Server in zwei unterschiedlichen Rechenzentren stehen.
      Einer der neuen Server ist ein Cisco UCS 220 M5, bestückt mit 2× 4 TB Enterprise-NVMe, 4× 2 TB Enterprise-SAS-SSD, 4× 2 TB SSD, 256 GB RAM und 2× Intel Gold 6230 mit 20 Kernen.
      Eigentlich brauche ich das nicht, ich wollte es einfach haben.
      Ich entscheide gerade, ob ich weiter mein geliebtes FreeBSD mit bHyve nutze oder zu VMware gehe.
      Wenn die Kosten für eigene IP-Blöcke nicht auf €LOL-Niveau lägen, hätte ich das Monopoly-Set komplett gemacht.
      Ich wollte nur irgendwo damit angeben.
    • Sehr cool, aber ich wüsste nicht, was ich damit anfangen würde.
      Das heißt nicht, dass andere es nicht brauchen oder haben wollen könnten, aber ich würde das alles ganz sicher nie ausnutzen.
      Ich habe überlegt, ein oder zwei Ethernet-Kabel durchs Haus zu ziehen, um 1-Gb-Links anzuschließen, war am Ende aber zu faul, und Wi-Fi reichte aus.
      Mein Internetanschluss zu Hause hat ohnehin nur 11Mb/1Mb, also könnte ich das Maximum gar nicht ausreizen.
      Das Wi-Fi meines neuen Laptops ist etwas instabil; wenn Treiber und Firmware nicht besser werden, mache ich es dieses Jahr vielleicht doch.
      Die Kamera und die Wetterstation sehen gut aus.
  • Einerseits wirkt das wirklich nerdig und cool, andererseits ist es ziemlich unangenehm, dass diese enorme Menge an Hardware von Strom abhängt.
    Das scheint in diesem Ausmaß völlig unnötig zu sein, und mit dem Foto des F150 ordne ich ihn als typischen oder untypischen Amerikaner ein, dem die Umwelt egal ist.
    Dass er eine RIPE probe betreibt, gefällt mir trotzdem.

    • Es ist schade, jemanden, der für sein Hobby brennt und es begeistert teilt, auf diese Weise niederzumachen.
      Manche Leute fliegen zum Spaß nach Afrika, um Elefanten zu schießen; als Hobby ist das hier ziemlich harmlos.
      Wenn einem die Umwelt wirklich am Herzen liegt, sollte man wissen, dass es kontraproduktiv ist, die Anzahl der Computer in jemandes Abstellkammer zu kontrollieren.
      Das Argument „jede Kleinigkeit hilft“ ist wenig überzeugend, weil es immer Opportunitätskosten gibt.
      Die Aufmerksamkeit der Menschen ist begrenzt, und wer sich auf solche Kleinigkeiten konzentriert, lenkt nur von wirklich wichtigen Dingen wie Fleischkonsum und fossilen Brennstoffen ab.
    • In vielen US-Bundesstaaten ist Kernenergie die wichtigste Stromquelle.
      Sie ist vergleichsweise umweltfreundlich, daher ist der hohe Stromverbrauch des Autors an sich nicht das Problem.
      Wir sollten endlich aufhören, Energieverbrauch zu verteufeln.
      Energie ist etwas Erstaunliches, der Grund für großen Wohlstand in kurzer Zeit und die Grundlage von Wirtschaft, Gesundheitswesen, Internet, Elektroautos und gut gedämmten Häusern.
      Wir sollten alles daran setzen, Energie billig zu machen, damit mehr Menschen mehr Energie nutzen können.
      Kaum etwas hat der Klimabewegung so sehr geschadet wie der Krieg gegen Energie; er ist unnötig und verfehlt den Kern der Bewegung, nämlich den Umweltschutz.
      Statt Menschen zu verteufeln, die Energie nutzen, sollten wir uns auf sauberere Energiequellen konzentrieren.
    • Ich habe da auch gemischte Gefühle.
      Wegen der Stromkosten habe ich mein Homelab aufgegeben, und inzwischen laufen HomeAssistant, NAS und Router alle auf einem alten Dell-Precision-Laptop.
      Laptops sind auf niedrigen Stromverbrauch optimiert und bringen Konsole und eingebaute USV gratis mit, was sie zu hervorragenden Servern macht.
      Ein neuer Alder Lake N100 Mini-PC von chinesischen Websites reizt mich, aber solange der Laptop nicht den Geist aufgibt, lässt sich das schwer rechtfertigen.
      Nicht nur der Stromverbrauch zählt, sondern auch die versteckten Kosten der Herstellung; deshalb sollte man vor dem Neukauf das Beste aus dem machen, was man schon hat.
      Immerhin hatte der Autor eine große Solaranlage.
    • Ich frage mich, wer qualifiziert sein soll zu entscheiden, ob jemand das braucht oder nicht, und diese Haltung wirkt wie der Gipfel moralischer Überlegenheit.
      Außerdem ist es schwer zu rechtfertigen, Amerikaner, die aus sehr unterschiedlichen Individuen bestehen, negativ zu stereotypisieren.
    • Ist dir klar, dass der Computer, auf dem du diesen selbstgerechten Kommentar gerade schreibst, mit ziemlicher Sicherheit in China hergestellt wurde?
      Ich frage mich, wie viele Tonnen Kohle dafür verbrannt wurden.
      Und ich frage mich, wie viele Annehmlichkeiten der westlichen Industrieländer du nicht aufgeben möchtest, während du Menschen im Internet nach konstruktiven Aktivitäten einordnest, die sie mit ihrer eigenen Zeit und ihrem eigenen Geld betreiben.
  • Sehr inspirierend.
    Mein Homelab ist ein Kabelchaos, auf einem alten Supermicro und einem Custom-Server laufen halb fertige Deployments, es ist viel zu laut und verbraucht vermutlich auch ziemlich viel Strom.
    Ich habe den Stromverbrauch noch nie gemessen, daher weiß ich es nicht genau; das ist eines dieser Projekte, die ich immer auf „irgendwann“ verschiebe.
    Obwohl ein 24U-Rack ungenutzt im Schrank steht, stapelt sich alles auf einem Lack-Rack.
    Das liegt an Platz- und Verkabelungsbeschränkungen, aber eines Tages wird daraus eine saubere und effiziente Konfiguration.

    • Klingt exakt wie meins.
  • Ich frage mich, warum das nicht so aufgebaut wurde: 24-Port-Patchpanel, 48-Port-Switch, 24-Port-Patchpanel, 1U-Kabelmanagement-Panel. Das hätte vermutlich gut funktioniert.
    Dann hätte man die meisten Ports der Patchpanels mit fertigen 4–6-Zoll-Cat-5e/6a-Patchkabeln verbinden können.
    Durch das Kabelmanagement-Panel wären nur die längeren Kabel zu den Servern im Rack gelaufen. Ich nutze einen ähnlichen Cisco-24-Port-Switch, und mir gefällt nicht, dass die Ports rechts am Chassis gebündelt sind.
    Ich verstehe nicht, warum man die 24 Ports nicht einfach in einer Reihe oben oder unten angeordnet hat, als hätte man bei einem 48-Port-Gerät nur die zweite Reihe entfernt. Dann wäre Kabelmanagement deutlich einfacher gewesen.

    • Anfangs bestand das aus einem Switch und einem Patchpanel und hat sich dann langsam weiterentwickelt; deshalb ist es so angeordnet.
      Ideal ist es nicht, aber mit dem Ergebnis bin ich ziemlich zufrieden.
      Wenn ich alles noch einmal neu ins Rack einbauen könnte, würde ich vielleicht ein paar Dinge ändern, aber dafür müsste ich alles abschalten, und ich weiß nicht, wann — oder ob — ich das wirklich machen möchte.
    • Das ist mir auch aufgefallen.
      Es wirkt so, als würden die Patchpanels nur einige Leitungen nach vorn ins Rack holen und die gepatchten Leitungen dann wieder nach hinten ins Rack zurückführen.
  • Das größte Problem, das ich in Heimnetzwerken erlebt habe, ist, dass die ISP-Konfiguration vermurkst ist und sie gelegentlich fragwürdige Dinge wie DNS-Hijacking machen.
    Häufiger treten durch schlechte ONU-Firmware oder -Hardware seltsame Effekte wie Latenzspitzen oder Paketverluste auf.
    Manchmal funktioniert IPv6 nicht, wenn die ONU im Bridge-Modus ist.
    Der Aufbau im Artikel ist übertrieben, aber in normalen Heimnetzwerken ist SQM oft sehr wirksam.
    Etwas wie cake-SQM unter OpenWrt hilft enorm, wenn der ISP schlecht ist; ein ISP hat sogar einmal gesagt, 5 % Paketverlust im Heimnetz seien akzeptabel.
    Man reduziert die Last bis zu dem Punkt, an dem die Verluste sehr niedrig werden, und nutzt dann einen DNS-Resolver.
    Für das lokale Netzwerk war ein DNS-Resolver wie unbound deutlich stabiler, und Paketverluste haben wirklich viele DNS-Probleme verursacht.
    Dem DNS billiger Heimnetzwerkgeräte ist schwer zu trauen; schon ein günstiger Pi mit lokalem Resolver funktioniert viel besser als ein Heimrouter.
    Auch ein Austausch der ONU ist eine Überlegung wert: Das ist einfacher, als man denkt, und die vom ISP bereitgestellten ONUs sind wirklich schlecht.
    Günstige Nokia-SFP-GPONs gibt es bei eBay für etwa 20 Dollar, und wenn man das PLOAM-Passwort, die Seriennummer, die MAC-Adresse und die VPN-ID des ISP herausfinden kann, lässt sich der Anschluss durch eine stabilere Verbindung ersetzen.
    Für ein einfaches Heim-Setup würde ich empfehlen, die ONU durch ein günstiges SFP-GPON zu ersetzen, einen billigen Router zu nehmen — bei unter 500 Mbit einen RPi4 als Router-on-a-Stick oder für 1 Gbit/s eine x86-Box mit SFP — und einen eigenen unbound-Resolver zu betreiben.
    Ein paar APs kann man per Kabel anschließen, oder man nutzt ein Wi‑Fi-6-Mesh-Router-3er-Pack, das es bei Amazon im Angebot für unter 150 Dollar gibt, im AP-Modus.

    • Ich frage mich, warum man in einem Heimnetzwerk einen lokalen DNS-Resolver betreiben sollte.
      Kann man nicht einfach bekannte entfernte Resolver wie 1.1.1.1 oder 8.8.8.8 verwenden?
      Die Systeme cachen DNS-Einträge und kaschieren damit kurzfristige Ausfälle, und wenn man einen als primären und den anderen als sekundären DNS nutzt, scheint die Wahrscheinlichkeit für DNS-Auflösungsprobleme sehr gering zu sein.
    • Ein klarer Vorbehalt ist, dass GPON-Netze oft vendor-locked sind.
      Man kann nicht einfach irgendeine SFP-ONU kaufen und erwarten, dass sie funktioniert.
      Selbst wenn man sie zum Laufen bringt, wird der ISP keinerlei Support leisten, und manche ISPs könnten es übel aufnehmen, wenn sie davon erfahren.
      Meist ist es am besten, beim ISP nachzufragen, ob er andere ONU-Modelle anbietet, und dann eines davon auszuwählen.
  • Früher hatte ich ein Heimnetzwerk, aber das änderte sich nach einem Blitzeinschlag in der Nähe.
    Er kam über die Stromleitung und die Kupfer-Telefonleitung herein, ließ Modem, Router und Switch durchbrennen und breitete sich dann über Twisted-Pair-Ethernet aus, sodass alle ans Netzwerk angeschlossenen Interfaces zerstört wurden.
    Heute nutze ich Wi‑Fi, außer wenn an einem bestimmten Ort wirklich niedrige Latenz oder hohe Zuverlässigkeit nötig ist.
    Glasfaser wäre schön, aber Wi‑Fi ist das blitzsichere Netzwerk für Arme.

    • Genau deshalb ist Glasfaser gut.
      Ohne elektrische Verbindung kann ein Blitz keine Überspannung ins Modem drücken.
      Die Stromseite lässt sich mit normaler Netztrennung und Überspannungsschutz behandeln.
      Über Stromkabel habe ich bisher noch keine Geräte verloren, aber Geräte, die durch Blitzeinschläge in Kupfer-Datenleitungen und anschließende Ausbreitung durchs Netzwerk gestorben sind, kann ich kaum zählen.
    • Könnte ein Blitz nicht genauso alles grillen, was am Strom hängt?
      In so einem Fall würde Wi‑Fi einen auch nicht retten.
    • Deshalb war das Erste, was ich gemacht habe, Telefonleitungen und Koaxkabel aus dem Haus zu entfernen.
    • Als ich ein Kind war, schlug ein Blitz in unser Mehrfamilienhaus ein und tötete einen Consumer-Router.
      Nach dem Austausch steckte ich ihn in einen Überspannungsschutz, und ein paar Monate später schlug wieder ein Blitz ein.
      Der Router überlebte, aber das Gebäude fing Feuer.
      Jetzt, wo ich älter bin, akzeptiere ich einfach das Risiko, dass „die Natur einen manchmal hasst“.
      Statt mich abzumühen, meine Geräte vor der Natur zu schützen, lege ich Geld zurück, um Dinge ersetzen zu können, deren Verlust problematisch wäre.
      Das Leben ist zu kurz für Tauziehen mit der Erde; ich finde es besser, monatlich 50 Dollar für Ersatzkosten beiseitezulegen, falls sie gebraucht werden.
    • Ein ISA-Dial-up-Modem von mir wurde einmal vom Blitz getroffen.
      Nach einem lauten Knall brach die DUN-Verbindung ab, und als sie wiederkam, funktionierte das Modem zwar noch, blieb aber für immer im Zustand „Hörer abgenommen“.
      Jedes Mal, wenn ich telefonieren wollte, musste ich es aus- und wieder einstecken, und die Telefonleitung war ständig besetzt.
  • Gefällt mir wirklich gut.
    Die einfache Antwort an Leute, die fragen, warum man das macht, lautet: „Weil man es kann.“
    Respekt an den ursprünglichen Autor.
    Ich frage mich, ob diese Person in der IT-Branche arbeitet.
    Ich bin Development Lead und arbeite absurd viele Stunden; wenn ich dann wirklich Freizeit habe, ist das Letzte, was ich tun möchte, an einem Homelab herumzubasteln.

  • Es wird viel über den Energieverbrauch gesprochen, aber diese Person nutzt Solarstrom: https://blog.networkprofile.org/17kw-enphase-solar-install/

    • Ich habe eine ähnliche Netzwerkkonfiguration, eigentlich sogar eine etwas größere, und auch eine deutlich größere Computing-Konfiguration.
      Außerdem habe ich eine 20-kW-Solaranlage mit 53 Modulen und eine 42-kWh-Batterie.
      Mein gesamter jährlicher Stromverbrauch ist ziemlich hoch, etwa 8 MWh pro Monat, und die gesamte Solarstromproduktion liegt bei rund 25 MWh.
      Server und Netzwerkgeräte verbrauchen kontinuierlich etwa 4 kW, also rund 35 MWh; damit deckt Solarstrom etwa 70 % des Stromverbrauchs für Computing und Netzwerk ab.
      Da ich im Nordwesten lebe, konzentriert sich der Großteil der Stromerzeugung auf die mittleren fünf Monate des Jahres.
    • Trotzdem scheint nachts keine Sonne.