- Die Kombination aus Intel i5-12400, ASUS Prime H770-Plus D4, 64 GB DDR4, Ubuntu Server 23.04 und Corsair RM750 erreichte laut Messung an der Steckdose vor dem Hinzufügen zusätzlicher Speichergeräte eine Idle-Leistung von 7 W
- Der Schlüssel zum niedrigen Verbrauch war, im BIOS C-State, ASPM L1, RC6 und ALPM zu aktivieren und mit dem PowerTOP-Auto-Tuning dafür zu sorgen, dass das CPU-Package in die C8/C10-Energiesparzustände wechseln konnte
- Mit 12 HDDs und mehreren NVMe-Laufwerken stieg der Verbrauch auf 24–25 W, und ein Problem, bei dem der JMicron JMB585 ASPM blockierte und das System auf C3 festhielt, wurde durch den Tausch auf einen ASM1166-SATA-Controller abgemildert
- Direkt an die CPU angebundene PCIe-/M.2-Slots, NVMe- und SATA-SSD-Modelle, Realtek-NICs, USB-Geräte und die Firmware des SATA-Controllers können die C-States verändern, daher sind A/B-Tests je nach Teilekombination nötig
- Selbst die finale Konfiguration mit 11 HDDs sowie NVMe-/SATA-Controllern ließ sich mit HDD-Spindown sowie Display- und Tastatur-Energiesparen auf 15–16 W senken; langfristig werden mit einem Wechsel auf SSDs 10–11 W Idle-Leistung erwartet
Referenzkonfiguration des 7-W-Idle-Builds
- Ziele waren niedrige Idle-Leistung, ausreichend CPU-Leistung für Komprimierung, Unterstützung für 12 HDDs und mindestens 1 NVMe, Erweiterbarkeit für einen späteren Wechsel auf 6 NVMe und 6 SATA-SSDs sowie kontrollierte Kosten
- Der 7-W-Messwert wurde an der Steckdose gemessen, bevor Speichergeräte in größerem Umfang hinzugefügt wurden
- Intel-H770-Mainboard
- Intel-i5-12400-CPU
- 64 GB DDR4-RAM
- SSD mit Ubuntu Server 23.04 als Boot-Laufwerk
- Corsair-Netzteil
- Im BIOS wurden die C-States so eingestellt, dass C8 erreicht wurde, und
powertop --auto-tunewurde angewendet - Das PowerTOP-Auto-Tuning deaktivierte per USB-Stromsparmodus die USB-Tastatur; blieb die Tastatur dauerhaft nutzbar, lag die Leistungsaufnahme an der Steckdose bei 8 W
- Bei aktivierter Display-Ausgabe lag sie bei 9–10 W, und mit
consoleblank=600sank sie nach 600 Sekunden mit ausgeschaltetem Bildschirm auf 7 W
Frühere Low-Power-Builds und das Ziel dieses Projekts
- Frühere Low-Power-Builds dienten als Referenz für das aktuelle Ziel
- 2016er Skylake-basierter Low-Power-PC: Building a Low Power PC on Skylake – 10 watts idle mit 10 W Idle
- 2019er Home-NAS/Fileserver mit 4 Laufwerken: 9w Idle – Creating a low power home NAS / file server with 4 Storage Drives mit 9 W Idle
- Eine Kombination aus Gigabyte H470M DS3H und Intel i3-10320 lag 2021 bei 11 W, dazu gab es aber keinen separaten Artikel
- Zwei andere Systeme aus 2022 lagen bei 19 W bzw. 27 W; nicht jede CPU-/Mainboard-Kombination kommt also in die Nähe von 10 W
- Ein neues System aufzubauen, das an der Steckdose in die Nähe von 10 W kommt, ist fast ein Glücksspiel: Komponentenwahl und Tuning müssen am realen Ergebnis überprüft werden
Mainboard-Auswahl: ASUS Prime H770-Plus D4
- Die endgültige Wahl fiel auf das ASUS Prime H770-Plus D4
- Zur Auswahl standen damals Consumer-Mainboards der Intel-Serien 600/700 und der AMD-Serien 500/600
- Wichtig war die Möglichkeit, künftig 6 NVMe-Laufwerke zu nutzen, aber es wurde davon ausgegangen, dass es kein Consumer-Mainboard gibt, auf dem sich 6 M.2-Slots gleichzeitig alle im PCIe-Modus betreiben lassen
- Das AMD MEG X570S Unify-X Max sieht zwar nach 6 M.2 aus, laut Handbuch muss der letzte Slot bei Vollbestückung aber als SATA-Variante genutzt werden
- Das ASRock Z790 PG Sonic hat ebenfalls 6 Slots, aber wegen Ausschlussbedingungen des Gen5-NVMe-Slots lassen sich nur 5 verwenden
- Auf Consumer-Boards gibt es Beschränkungen bei den Chipsatz-Lanes, wenn alle M.2-Slots mit Gen4 x4 betrieben werden sollen
- AMD X570, Intel B760: maximal 3
- AMD B650, Intel H670/Q670/Z690/W680: 4
- AMD X670, Intel H770: 5
- Intel Z790: 6
- Für das Ziel von 6 NVMe war daher ein PCIe-zu-M.2-Adapter nötig, und Auswahlkriterium für das Mainboard wurde die Summe aus eingebauten M.2-Slots und PCIe-Slots mit mindestens x4
- Die Wahl fiel auf Intel wegen Chipsatz-Leistungsaufnahme, Geschwindigkeit der Chipsatz-CPU-Verbindung, vorhandener Komponenten und Bedenken beim Stromverbrauch von AM5
- Alle Intel-600/700-Chipsätze haben eine TDP von 6 W
- Der AMD-X670-Chipsatz wurde mit 7 W + 7 W angesetzt
- Intel H670/Q670/W680/Z690/H770/Z790 sind per DMI 4.0 x8 mit der CPU verbunden, AMD X570/B650/X670 per PCIe 4.0 x4, also theoretisch etwa 16 GB/s gegenüber 8 GB/s
- Vorhandene 64 GB DDR4 und eine Intel-CPU der 12. Generation konnten weiterverwendet werden
- AMD-600er-Chipsätze unterstützen nur DDR5
CPU, Speicher, Boot-Laufwerk und PSU
- Als CPU kam ein bereits vorhandener Intel i5-12400 H0 Stepping Alder Lake zum Einsatz
- In einem früheren Desktop-Build wurde er wegen AV1-Hardware-Decoding, dem Vermeiden des Silicon-Overheads von E-Cores und seiner Leistung innerhalb der 12.-Gen-Reihe gewählt
- Der frühere Desktop-Build hatte viele GPU- und Display-Probleme, im aktuellen serverorientierten Build war das aber kein Schlüsselfaktor
- Verwendet wurden 64 GB DDR4-3200
- 2x16 GB Kingston HyperX Dual-Rank Hynix DJR
- 2x16 GB Kingston HyperX Single-Rank Hynix CJR
- Die 4 Module liefen mit 16-18-18-36, die RAM-Spannung wurde auf 1,25 V gesetzt
- In TestMem5 und Memtest86 waren auch 1,22 V stabil, für mehr Reserve wurde aber 1,25 V verwendet
- Als Test-Boot-Laufwerk diente eine Sandisk Ultra 3D 1 TB SATA SSD
- Wegen vieler PCIe- und NVMe-A/B-Tests wurde Ubuntu 23.04 auf einer SATA-SSD installiert, um PCIe-Slots freizuhalten
- Nach den Tests sollte das Haupt-OS auf einer Samsung SSD 970 EVO Plus 500 GB NVMe laufen
- Als PSU wurde ein Corsair RM750 genutzt
- Für ein System mit rund 10 W Idle wirkt 750 W zwar überdimensioniert, aber beim gleichzeitigen Anlaufen von 12 Laufwerksmotoren kann die Lastspitze hoch sein
- Seagate gibt für ein einzelnes 10-TB-3,5-Zoll-Laufwerk einen Spitzenstrom auf der 12-V-Schiene von 2 A/3 A DC/AC an
- Wurde angenommen, dass 6 Laufwerke gleichzeitig 150–200 W ziehen und die CPU in der Spitze 120 W braucht, könnte ein 10-W-Idle-System kurzzeitig auf etwa 400 W springen
- Kurzzeitige Unterversorgung kann zu Spannungsabfall, Abstürzen, Reboots und Datenkorruption bei Schreibvorgängen führen
BIOS- und OS-Energieeinstellungen
- Die anfänglichen Leistungsmessungen erfolgten mit Ubuntu Server 23.04, Intel PowerTOP Auto-Tune und Messung an der Steckdose
- Im BIOS wurden unter anderem folgende Einstellungen gesetzt
- CPU C-State bis C10 aktivieren
- ASPM aktivieren und alles auf L1 setzen
- RC6 (Render Standby) aktivieren
- Aggressive LPM Support (ALPM) aktivieren
- HD Audio, Connectivity Mode, LEDs, GNA Device, Serial Port deaktivieren
- Für ein Low-Power-Ziel sind Mainboard-Unterstützung und BIOS-Konfiguration entscheidend
- Auf ASUS-H770-Boards muss für niedrigen Stromverbrauch Native ASPM zusammen mit geeigneten L1-Zuständen aktiviert werden
- Damit wird dem OS die Steuerung statt der BIOS-Steuerung überlassen
Flaschenhälse nach dem Anschluss der Speichergeräte
- Nach Anschluss von 12 HDDs und im Spindown-Zustand stieg die Leistungsaufnahme im Leerlauf von 7 W auf 24–25 W
- Anfangs wurden 6x 2,5-Zoll-HDD und 6x 3,5-Zoll-HDD verwendet
- Da das Mainboard nur 4 SATA-Ports hatte, kamen SATA-Controller und ein Port-Multiplier zum Einsatz
- Anfangs wurden auch 4 NVMe genutzt; eine Western Digital SN770 wurde selbst im Idle heiß und schien keinen Low-Power-Modus zu erreichen
- Beim schrittweisen Testen einzelner Komponenten nach Entfernen der HDDs erwies sich der JMicron-JMB585-SATA-Controller als Hauptursache für den Mehrverbrauch
- Ohne JMB585 erreichte das CPU-Package C6
- Wurde der JMB585 wieder angeschlossen, war maximal C3 erreichbar
- Wenn ein PCIe-Gerät nicht in ASPM L1 wechseln kann, kommt auch die CPU nicht in tiefere Energiesparzustände
- Die JMB585-Controllerkarte scheint ASPM nicht zu unterstützen
Einfluss direkt an die CPU angebundener PCIe-Lanes
- Dieses System erreichte C8 nur dann, wenn an den direkt an die CPU angebundenen PCIe-Lanes nichts angeschlossen war
- Sobald etwas im oberen PCIe-Slot oder im oberen NVMe-Slot steckte, war C6 das Limit
- Der Leistungsunterschied zwischen C6 und C8 lag in einfachen Tests offenbar unter 1 W
- C8 ist ein netter Bonus, C6 wurde aber als Pflicht angesehen
- C3 wurde als zu stromhungrig bewertet
- Bei diesem speziellen Mainboard ist es besser, direkt an die CPU angebundene Lanes zu vermeiden, wenn weder besonders niedrige Latenz noch die volle CPU-direkte Bandbreite nötig ist
ASM1166-SATA-Controller im Vergleich zum JMB585
- Bei der Suche nach einer SATA-HBA wurde festgestellt, dass der ASM1166-SATA-Controller ASPM L1 unterstützen kann, dafür aber offenbar ein Firmware-Flash nötig ist
- Nach Ankunft der ASM1166-Karte wurde zuerst die Firmware geflasht
- Als aktuelle Firmware wurde die Datei „fix compatibility issue“ aus dem Download-Bereich des SilverStone ECS06 verwendet: https://www.silverstonetek.com/en/product/info/expansion-cards/ECS06/
- Vorgegangen wurde nach der Dokumentation von Phil Barker: https://docs.phil-barker.com/posts/…
- Die SilverStone-Datei hatte dieselbe MD5 wie die im unRAID-Forum gefundene Firmware
- Messergebnisse ohne angeschlossene Laufwerke
- Kein SATA-Controller: 8 W, C8
- ASM1166 im chipsatzdirekten x4-Slot: 9 W, C8
- JMB585 im CPU-direkten x16-Slot: 12 W, C3
- JMB585 im chipsatzdirekten x4-Slot: 15 W, C3
- ASM1166 im CPU-direkten x16-Slot: 22 W, C2
- Mit angeschlossenen Laufwerken war der ASM1166 beim Stromverbrauch klar besser als der JMB585
- ASM1166 im chipsatzdirekten x4-Slot: 10 W, C8
- Zwei ASM1166 im chipsatzdirekten x4-Slot und nur 1 NVMe in Nutzung: 11 W, C8
- JMB585 im chipsatzdirekten x4-Slot: 16 W, C3
- JMB585 im CPU-direkten x16-Slot: 24 W, C2
- Mit 4 angeschlossenen Laufwerken im chipsatzdirekten Slot erhöhte der ASM1166 den Systemverbrauch um +2 W, der JMB585 um +8 W
Auch NVMe- und SATA-Laufwerke verändern die C-States
- Mit einer WD Black SN770 Gen4 NVMe im oberen, direkt an die CPU angebundenen PCIe-/NVMe-Port traten AER Bus Error und BadTLP auf
- Wenn im BIOS „PEG – ASPM“ auf Disabled oder L0s stand, gab es keine Fehler
- L1 ist für die Energieeinsparung jedoch wichtig, daher war das keine gute Lösung
- Mit auf Gen3 gesetzter Link-Geschwindigkeit nahmen die Fehler stark ab, verschwanden aber nicht vollständig
- Nach Austausch des WD-Laufwerks gegen eine Crucial P3 verschwanden die Fehler
- Bei zwei Crucial-P3-NVMe im CPU-direkten PCIe-x16-Slot und im oberen M.2-Slot waren die Idle-Temperaturen des Controllers hoch
- Der NAND lag bei etwa 27–29 °C, der Controller aber bei gemeldeten 49–50 °C
- Wurden beide NVMe in chipsatzdirekte PCIe-Slots versetzt, wurden L1.1/L1.2 aktiv und die Controller-Temperaturen sanken auf 38–41 °C
- In einem Update wurden für den finalen Build Controller-Temperaturen der Crucial P3 von 31–34 °C und NAND-Temperaturen von 23–24 °C genannt
- Auch Marke und Modell von SATA-SSDs können die C-State-Ergebnisse verändern
- Eine 1-TB-Patriot-P210-SATA-SSD hielt das System auf C6 fest
- Laufwerke, die C10 zuließen, waren unter anderem Samsung 850 EVO SATA SSD, Seagate SATA HDD, Toshiba SATA HDD, Sandisk Ultra 3D SATA SSD und Crucial MX500
- SATA-SSDs sollte man bei Marke und Modell sorgfältig auswählen und nach dem Kauf innerhalb der Rückgabefrist die relevanten Kennzahlen prüfen
Aktuelle Speicherkonfiguration und Leistungsaufnahme
- Die aktuelle Konfiguration enthält inzwischen deutlich mehr Speicher
- 1x Samsung 970 EVO Plus NVMe 500 GB als Boot-Laufwerk
- 2x Crucial P3 NVMe 4 TB
- 5x Seagate 2,5-Zoll-HDD 5 TB, jeweils 4 TB genutzt
- 6x Seagate 3,5-Zoll-HDD 10 TB, jeweils 8 TB genutzt
- 2x ASM1166-SATA-Karten
- Mit eingeschaltetem Display und aktiver Tastatur ergaben sich an der Steckdose schrittweise folgende Werte
- 11 HDDs alle active-idle: 50 W
- 6x 3,5-Zoll-HDD in Idle B: 38 W
- 6x 3,5-Zoll-HDD in Idle C: 34 W
- 6x 3,5-Zoll-HDD in Standby_Z mit Spindown: 21 W
- Auch 5x 2,5-Zoll-HDD in Standby: 18 W
- Display-Ausgabe aus: 16 W
- PowerTOP darf die USB-Tastatur deaktivieren: 15 W
- Seagate gibt für den Standby-Verbrauch ungefähr 0,8 W pro 3,5-Zoll-Laufwerk und etwa 0,18 W pro 2,5-Zoll-Laufwerk an, was zu den Beobachtungen zu passen scheint
- 3,5-Zoll-Laufwerke sind im Vergleich zum Rest des Systems die großen Stromverbraucher
Langfristiger Wechsel von HDD zu SSD
- Da der Idle-Verbrauch von HDDs im Standby niedrig ist, wird ein schneller Wechsel auf SSDs nicht als dringend angesehen
- Wenn HDDs und Reserve-Laufwerke ausfallen oder SSD-Preise sinken, soll schrittweise migriert werden
- Das Endziel ist ein All-SSD-Build
- Ursprünglich war 1 Boot-Laufwerk, 6x NVMe für RAIDZ2 und 6x SATA-SSD für ein zweites RAIDZ2 geplant
- Bei NVMe werden wahrscheinlich Crucial P3 4 TB, bei SATA-SSDs wahrscheinlich Samsung 870 QVO 8 TB in Betracht gezogen
- Wegen der Unvorhersehbarkeit und des kleinen Aufpreises bei C-State, Stromverbrauch und Temperatur durch CPU-direkte M.2-/PCIe-Slots könnte stattdessen ein Teil der NVMe entfallen und mehr SATA genutzt werden, um CPU-direkte Lanes zu vermeiden
- Wenn alle HDDs durch SSDs ersetzt sind, wird bei 72 TB an Laufwerken, 64 GB RAM und einem recht ordentlichen Prozessor eine Idle-Leistung von etwa 10–11 W erwartet
Nutzung von ZFS-Cache und Special vdev
- Da der vollständige Wechsel von HDDs auf SSDs wahrscheinlich Zeit braucht, werden in der Zwischenzeit ZFS-Funktionen genutzt, die schnelle Speichergeräte ausnutzen
- ZFS bietet mit Special Allocation Class und L2ARC-Cache-Laufwerken Optionen, SSDs vor langsame Speichergeräte zu setzen
- Mit der Special Allocation Class lässt sich ein eigener vdev für Metadaten und kleine Blöcke einer gewählten Größe anlegen
- Dateilisten und Verzeichnisnavigation werden schneller
- Selbst wenn die Dateien auf HDDs liegen, kann
lsin vielen Verzeichnissen ausgeführt werden, ohne die HDDs aufzuwecken - Allerdings liegen alle Metadaten im special vdev; fällt dieser aus, ist der Zugriff auf alle Daten praktisch unmöglich
- Mindestens ein Mirror ist nötig, ein 3-Way-Mirror kann ebenfalls sinnvoll sein
- L2ARC ist der zweite Cache-Level von ZFS
- Wenn der RAM-Cache voll ist, kopiert ZFS einige Blöcke in den L2ARC und entfernt sie aus dem RAM
- Beim nächsten Zugriff werden diese Daten dann aus dem L2ARC statt von der Disk gelesen
- Für L2ARC reicht auch eine einzelne SSD; bei Prüfsummenfehlern oder Laufwerksausfall liest ZFS einfach vom Ursprungsmedium neu
- In dieser Konfiguration wird eine 4-TB-NVMe als L2ARC verwendet
- Sobald die übrigen 2,5-Zoll-Laufwerke ebenfalls durch SSDs ersetzt sind und der Geschwindigkeitsvorteil des SSD-Caches entfällt, kann dieses Cache-Gerät entfernt werden
Praktische Schlussfolgerungen
- Wer niedrige Idle-Leistung will, braucht ein Mainboard-BIOS, das ausreichend Optionen für C-State, ASPM und ALPM bietet
- Für stabile Ergebnisse müssen alle Geräte ASPM L1 unterstützen
- Am schwierigsten war es, einen SATA-Controller zu finden, der ASPM L1 unterstützt
- Wenn möglich, sollte man lieber ein Mainboard mit genügend direkt am Intel-Chipsatz angebundenen SATA-Ports verwenden, damit keine Zusatzkarte nötig ist
- Auch bei NVMe sollte man prüfen, ob die Low-Power-APST-Zustände unter ASPM sauber funktionieren
- Wer C8 anstrebt, sollte die Nutzung direkt an die CPU angebundener PCIe-Lanes vermeiden
- Das betrifft den oberen PCIe- und den oberen M.2-Slot
- Ausnahmen sind Fälle, in denen niedrige Latenz oder die volle CPU-direkte Bandbreite nötig sind oder Geräte ständig aktiv bleiben und ohnehin nicht in Energiesparzustände wechseln
- Ein Leistungsmesser an der Steckdose wie ein Kill-A-Watt ist unverzichtbar, um die reale Situation zu prüfen
- Nur mit Softwaremetriken lassen sich Netzteileffizienz, Standby-Verbrauch der Laufwerke, Auswirkungen von USB-Geräten und die Display-Ausgabe schwer beurteilen
- Laut einem Update zu Realtek-NICs deaktivieren aktuelle Linux-Kernel bei den meisten Realtek-NICs den L1-Energiesparmodus, wodurch die CPU möglicherweise keine passenden C-States erreicht und der Stromverbrauch steigt
- Es gibt Workarounds, langfristig könnte die Auswahl aber auf Mainboards mit Intel-1-Gigabit-Netzwerkadapter beschränkt werden
- Das in den Kommentaren erwähnte Skript ist hier zu finden: RTL8125-ASPM.sh.txt
1 Kommentare
Meinungen auf Hacker News
Es gibt einen Thread in einem deutschen Forum und ein Google-Docs-Dokument, in denen Konfigurationen unter 30 W gesammelt werden; das wirkt für Heimserver-/NAS-Bauer ziemlich nützlich https://goo.gl/z8nt3A
Die Konfiguration mit dem meiner Meinung nach besten Preis-Leistungs-Verhältnis war Fujitsu D3417-B2, Intel Xeon 1225 V5, 64 GB ECC-RAM, WD SN850x 2 TB, Fractal Design Define Mini C, Pico PSU 120 W + 120-W-Leicke-Netzteil sowie Remote-Management per Intel AMT + MeshCommander
Ich habe sie gebraucht sehr günstig gekauft und betreibe darauf Proxmox; ohne HDD liegt die Leerlaufleistung bei 9,3 W. Es gibt 6 SATA-Ports und PCIe-Ports, sodass sich Speicher erweitern oder eine dedizierte GPU per Passthrough nutzen lässt
Insgesamt habe ich 380 € bezahlt, aber die Teile können schwer zu bekommen sein. Für Media-Encoding ist das nicht besonders gut, dafür ist ein Core i3 8100 oder höher besser; als alternative Boards kommen auch GIGABYTE C246N-WU2, Gigabyte C246-WU4, Fujitsu D3517-B, Fujitsu D3644 sowie die 2021er-Version des Corsair RM550x infrage
Günstige gebrauchte Workstations wie Dell T30 oder Fujitsu Celsius W550 sind ebenfalls als Server geeignet. Bei Fujitsu steckt ein D3417(-A)-Board drin, das kein 24-Pin-ATX, sondern ein proprietäres 16-Pin-Netzteil verwendet; die 24-Pin-auf-16-Pin-Adapter von AliExpress sind etwas riskant und werden noch geprüft
Bei Ryzen gibt es nur wenige Optionen, aber es gibt Berichte, dass eine Kombination aus AMD Ryzen 5 PRO 4650G und Asus PRIME B550M-A im Leerlauf etwa 16 W verbraucht
Fujitsu-Boards sind hervorragend und in der EU sehr günstig. Es gibt auch einen Fall, in dem die KVM-Lizenz für das Remote-Management iRMC S4/S5 reverse-engineered wurde https://watchmysys.com/blog/2023/01/fujitsu-irmc-s4-license/
HDDs haben beim Spin-up hohe Leistungsspitzen, und wenn in einem RAID mehrere gleichzeitig anlaufen, kann das den zulässigen Leistungsbereich überschreiten
AMD-PRO-CPUs unterstützen ECC, was für einen echten Computer aus meiner Sicht Pflicht ist. Die meisten Komponenten des Boards habe ich abgeschaltet, und es ist nahe an der untersten Qualitätsstufe im Consumer-Bereich
Gut ist, dass die integrierte GPU ziemlich ordentlich ist, wenn man bei Bedarf mehr Leistung abrufen muss
Die Hardware ist hervorragend, aber wenn die Softwareverwaltung zur Arbeit wird, lässt sich so ein Eigenbau nur schwer rechtfertigen
Mein Synology NAS mit 8 GB RAM und J4150-Prozessor betreibt etwa 15 Container, Wireguard und Synologys OS DSM und liegt normalerweise bei 1–3 % Leerlauf
Am Ende macht die Software den Unterschied, und DSM war der größte Vorteil und die größte Überraschung. TrueNAS nutze ich ebenfalls als zweiten Backup-Server, aber es ist kein Vergleich zu DSM
Manchmal will man nicht wegen einer einfachen CRON-Konfiguration für das Backup einer einzelnen Datei von einem anderen Server Logs durchwühlen und per Trial-and-Error arbeiten; bei DSM gab es unzählige Fälle, in denen es einfach funktioniert hat
Ich denke, Synology verpasst die Chance, DSM wie Microsoft in der NAS-Welt auch auf Nicht-Synology-Plattformen lauffähig zu machen oder zumindest die Eigeninstallation zu erleichtern. DSM ist ein hervorragendes OS, das sich von selbst verkaufen könnte und auch zu Upsells wie Active Backup for Business führen würde
Xpenology ist ein Bootloader für Synologys DSM, und DSM ist das eigene Linux-basierte Betriebssystem, das auf Synology-NAS-Geräten verwendet wird
Mit Xpenology kann man Synology DSM auf x86-Geräten wie normalen PCs oder selbstgebauten NAS-Systemen betreiben und so die Multimedia- und Cloud-Funktionen von DSM nutzen, ohne Synology-Hardware zu kaufen
Viele bevorzugen das, weil sie für Aufgaben wie Video-Transcoding selbst einen stärkeren Prozessor und mehr RAM auswählen können
Schon wenn die Auswahl an Hardwarekombinationen nur wenig wächst, kommt es zu einer kombinatorischen Explosion, sodass man unmöglich alles testen kann
Ein Synology-DSM-Frontend vor Cloud-IaaS wäre wohl ziemlich interessant
Ich habe in einer DS1520+ fünf 16-TB-Seagate-IronWolf-Pro-HDDs als RAID6 konfiguriert und eine weitere identische HDD als Cold Spare aufbewahrt; seit zwei Jahren läuft das völlig problemlos
Meine Linux-Installationshistorie hingegen ist dermaßen, dass ich Dinge schon durch bloßes Atmen kaputtmache – fast wie ein wandelnder Linux-Massenmord-Horrorfilm
Auch dieses Jahr wurden Geräte noch mit 4.4 verkauft, und nur die neuen Modelle dieses Jahres bekommen 5.10. Zwischen DSM-Versionen erhält man auch kein Kernel-Versions-Upgrade
Der Autor scheint von 2016 bis 2023 etwa alle zwei Jahre fünf Systeme gebaut zu haben
Einige Teile wie RAM wurden in mehreren Builds wiederverwendet
Interessant ist, wie hoch jeweils die Hardwarekosten und die Stromkosten über die Lebensdauer sind. Eine stromhungrige Maschine, die vier Jahre genutzt wird, kann besser sein als eine sparsame Maschine, die zwei Jahre genutzt wird
Aktuell kosten Mainboard+CPU laut pcpartpicker 322 Dollar, und bei 0,25 Dollar pro kWh kostet der durchgehende Betrieb mit 36 W über vier Jahre ebenfalls etwa 315 Dollar
Daher kann ein 43-W-System über vier Jahre in Anschaffung und Betrieb zusammen günstiger sein als ein 7-W-System über zwei Jahre
Den Speicherplatz erweitere ich kaum. Bis dahin sind Netzwerk und Software veraltet, also kaufe ich neu, nutze das bisherige Gerät als Backup für das neue und mustere das noch ältere Backup-Gerät aus
Interessanterweise hat sich dieser Upgrade-Zyklus seit 20 Jahren gehalten, was die Abschreibung leicht nachvollziehbar macht. Insgesamt nutze ich ein Gerät 16 Jahre, tatsächlich aber 8 Jahre als Hauptgerät und 8 Jahre als Backup-Gerät
Konfiguration mit 7950X3D, X670E Taichi, 96 GB 6400 MHz CL32, 2x 4 TB Lexar, 4x 18 TB Seagate Exos X18, RX570 8G und Proxmox
Idle ohne VMs liegt bei etwa 60–70 W, Idle mit TrueNAS-VM und rotierenden Platten bei 90–100 W, Idle mit TrueNAS und Fedora Desktop per GPU-Passthrough bei etwa 150 W
In ein paar Wochen soll die RX570 durch eine 7900 XTX ersetzt werden. RAM trägt deutlich zum Stromverbrauch bei; bei DDR5 sind je nach Frequenz 3–5 W pro 8 GB durchaus üblich
Ich hatte erwartet, dass Proxmox+TrueNAS bei etwa 50–100 W liegen würden, habe aber den Stromverbrauch von 96 GB RAM nicht berücksichtigt
Meine Konfiguration besteht aus AMD Ryzen 7 PRO 5750GE, 128 GB ECC DDR4-3200, Intel XL710-QDA2, LSI 9500-16i, 8 WD-16-TB-HDDs, 2 SK Hynix P41 Platinum M.2 NVMe SSDs, 2 Samsung PM9A3 U.2 NVMe SSDs und 2 Samsung PM893 SATA SSDs
Es gibt ein BMC, und mit Dual 40GbE sind in bestimmten Situationen etwa 55GbE über das Netzwerk dauerhaft möglich, meistens sind es 30–35GbE. TrueNAS SCALE läuft als reines Speichergerät für Videoschnitt, ein Proxmox-Cluster aus 1L-SFF-Systemen mit 5750GE und 10GbE läuft hauptsächlich für Apache Spark, und es gibt auch einen Pi4B-8-GB-k3s-Cluster
Es gibt Storage-Tiering, sodass die Platten kaum angefasst werden und meist schlafen. Daten werden hauptsächlich über U.2 hin- und hergeschoben und später automatisch verschoben. Die SATA-SSDs sind für Metadaten, gebootet wird von einem SuperMicro SuperDOM
Der Zen 3 Ryzen PRO 5750GE ist so etwas wie ein Einhorn, hat aber einen sehr niedrigen Verbrauch. Er hat sehr geringe Idle-Leistung, integrierte GPU und ECC-Unterstützung sowie EPYC-Speicherschutzfunktionen, erreicht etwa 92 % der Leistung eines 5800X und ist trotzdem bei Volllast aller 8 Kerne/16 Threads auf knapp unter 39 W Package Power begrenzt
Der LSI 9500-16i lieferte die nötigen Lanes, also 8 PCIe-Lanes und 16 SlimSAS-Anschlüsse, um zwei Enterprise-U.2 und acht HDDs zu bedienen; als moderner Adapter hatte er auch einen niedrigen Idle-Verbrauch
Die Intel-Dual-QSFP+-NIC habe ich bewusst gewählt, weil man mit passiven Kupfer-DACs zwischen NIC und Switch 4–5 W pro Port sparen kann. Bei dieser Übertragungsrate ist auch die geringere Latenz gegenüber Glasfaser relevant
Der Stromfresser ist das ASRock X570D4U. Allein das BMC zieht 3,2 W, und auch der X570 selbst verbraucht einiges. Trotzdem liegt das gesamte System im Idle bei 50 W, bei den meisten Lasten bei 75–80 W, und theoretisch dürfte es bei maximaler Auslastung aller Komponenten auf etwa 180–190 W kommen
Ich nutze ebenfalls 48-GB-DDR5-DIMMs, und HwInfo zeigt maximal 6 W pro Modul an
Ein NAS 847E16-RJBOD mit 44 rotierenden HDDs, ein 48-Port-POE+-10GbE-Switch, zwei unterbrechungsfreie Stromversorgungen, Umweltmonitoring und ein DECISO-OPNsense-Router verbrauchen zusammen im Schnitt 1264 W, sodass es sich anfühlt wie eine petrochemische Raffinerie
Eine UPS meldet nach Leistungsfaktor eine Effizienz von 98 %, die andere liegt bei 91 % und ist damit nicht besonders gut
APM habe ich auf allen HDDs deaktiviert. In dieser Konfiguration würde es nur Latenz und Verschleiß verursachen, für mythische Stromeinsparungen, die sich hier nicht realisieren lassen
SMART kann Ausfälle kaum vorhersagen, aber eines der starken Signale für einen Laufwerksausfall ist eine leicht erhöhte Temperatur, meist als Folge von Lagerverschleiß
Es fällt genug Abwärme an, dass ein Raum keine Heizung braucht, und es gibt auch keinen Grund, die Umgebungstemperatur des Datacenters unter 27 °C zu senken, daher ist Kühlung nicht zwingend nötig
Wasser und Computer sollte man nicht mischen, aber es könnte eine bessere Möglichkeit sein, diese Abwärme zu nutzen
Niedriger Stromverbrauch ist gut, aber großes RAID ohne ECC über lange Zeit zu betreiben, macht mich unruhig. Ich frage mich, ob es eine ähnlich aufgebaute, aber für mehr als fünf Jahre robustere Lösung gibt.
Ein X11SAE-F oder X12SCA-F, vielleicht auch etwas noch Älteres, reicht völlig. Der Stromverbrauch ist dann möglicherweise nicht extrem niedrig.
Ich betreibe immer noch ein NAS und LXC-Container mit einem X9SCA+-F und einem sehr alten Xeon. Die Idle-Leistungsaufnahme liegt nicht bei 5 W, sondern eher bei 20–30 W, aber ich hatte nie Probleme und bin überzeugt, dass es sich schon mehrfach amortisiert hat.
Barebones sind günstig, aber ECC-Speicher kann teuer sein, weil es nicht der übliche Server-RDIMM ist. Eine Low-Power-Konfiguration ist es auch nicht.
Wenn man auf ein Gehäuse voller HDDs oder ein komplettes 4U-System skalieren will, braucht man PCIe-Lanes. In diesem Fall dürfte eine Kombination aus w680, i5-12600K, einem ECC-UDIMM, SAS-HBA im PCIe-Slot und integriertem Ethernet ziemlich nahe am niedrigsten möglichen Stromverbrauch liegen.
Schade ist, dass die w680-Plattform so teuer ist; am4/zen2 ist günstiger und weiterhin gut nutzbar.
Xeon, Embedded Xeon, am5 und am4 gehen ebenfalls, allerdings hat am4 möglicherweise keine integrierte GPU.
RAID fünf Jahre lang ohne ECC zu betreiben, ist nicht grundsätzlich falsch; tatsächlich machen das viele so und kommen problemlos damit durch.
Den Einzelverbrauch kenne ich nicht, aber dieses NAS zusammen mit einer i5-12400-Compute-Maschine, Router und Switch zieht im Grundbetrieb 100 W an der Steckdose. Es laufen etwa 30 Container.
Verglichen mit den alten Workstations, die ich früher als Homeserver genutzt habe, halte ich das für enorm effizient.
Dieses Board scheint mit diesem Chip ECC zu unterstützen: Supermicro X13SAE W680 LGA1700 ATX Motherboard.
Der Preis liegt bei 550 Dollar.
Man könnte darum herum bauen und per PCIe-4.0-NVMe-Board so viele NVMe-Laufwerke anschließen, wie man braucht. Billig ist das nicht, aber für den Heimgebrauch noch tragbar.
Guter Artikel. Ich habe früher einmal etwas Ähnliches versucht.
https://vermaden.wordpress.com/2019/04/03/silent-fanless-fre...
https://vermaden.wordpress.com/2023/04/10/silent-fanless-del...
Für eine Konfiguration mit viel Speicherplatz ist das hervorragend.
Wenn der Storage auf einer einzelnen SSD oder einem RAID-Mirror-Paar liegt und nicht viel Rechenleistung gebraucht wird, kann man mit einem Einplatinencomputer wie einem RasPi oder etwas NUC-Ähnlichem einen Low-Power-Server bauen.
Persönlich nutze ich einige 1U-Atom-Server, die abgesehen davon, dass ich die Netzteil-Lüfter gegen Noctua getauscht habe, lüfterlos laufen.
Der Vorteil gegenüber einem RasPi sind SATA und ECC-RAM, und während der Corona-Zeit waren sie auch leichter zu bekommen.
Ich habe auch einen 4U-GPU-Server, aber ich habe mich noch nicht so wie der Autor damit beschäftigt, ihn in einen stromsparenden Idle-Zustand zu bringen, daher schalte ich ihn derzeit aus, wenn ich ihn nicht benutze.
Ich frage mich, warum kein N100 verwendet wird.
Der N305 passt ebenfalls zum Zweck, und der N100 dürfte noch niedriger liegen: https://www.reddit.com/r/MiniPCs/comments/12fv7fh/beelink_eq...
Außerdem unterstützt der N100 nur 16 GB RAM, während diese Person 64 GB nutzt. Auch die Zahl der PCIe-Lanes, 9 gegenüber 20, kann für den Anwendungsfall wichtig sein, und der i5 wirkt insgesamt deutlich schneller.
Vergleich: https://ark.intel.com/content/www/us/en/ark/compare.html?pro...
Ich frage mich, ob sie in ein paar Jahren den Mini-PC-Markt komplett übernehmen. Wenn die Preise sinken und sie mit verschiedenen Pi-Modellen konkurrieren können, wirkt das noch plausibler.
Er verbraucht zwischen 2 und 8 W und nutzt einfach ein normales 12-V-Netzteil mit DC-Hohlstecker. Perfekt für Home Assistant und leichte Virtualisierung.
Die Leistung ist in der Praxis besser als bei einem Quad-Core-i5-6500-Mini-PC. Langsam ist er keineswegs.
Für den Preis ist das wirklich ein erstaunliches kleines System.
Bei CPU/Mainboard versucht man zu sparen und optimiert alles, aber dann statt weniger größerer Laufwerke 6 oder mehr Laufwerke zu verwenden, wirkt auf mich nach am falschen Ende gespart.
Laufwerke fallen aus, daher braucht man für Redundanz mindestens ein zusätzliches, ich empfehle zwei. Denn wenn eines ausfällt, kann der Betrieb während des Austauschs weiterlaufen.
Baut man mit 3 Laufwerken einen RAID-1-Mirror, wird es für die effektiv nutzbare Kapazität eines einzigen Laufwerks teuer, daher schauen die meisten eher auf Varianten der RAID-5-Familie mit doppelter Parität.
Steckt man in so eine Konfiguration aber mehr als 6 Laufwerke, treten langsam Performance-Probleme auf, und es kann besser sein, über zwei RAIDs hinweg zu stripen. Ab mehr als 6 Laufwerken ist auch die Wahrscheinlichkeit, dass 3 ausfallen, nicht mehr zu vernachlässigen, sodass man weitere Paritäts-Stripes hinzufügen müsste.
Deshalb sehe ich 6 Laufwerke als sinnvollen Sweet Spot, aber andere vernünftige Antworten sind durchaus möglich.
Natürlich kommt es auch darauf an, wie viele Daten man hat. Für viele reicht eine moderne Festplatte aus, sodass sie RAID-1 wählen; die Redundanz dient dann eher dazu, nach einem Ausfall nicht auf die Wiederherstellung aus einem Offsite-Backup warten zu müssen.