- Die Diskussion über die Cloud-Repatriierung nimmt zu
- Fastmail optimiert seit über 20 Jahren den Betrieb mit eigenen Bare-Metal-Servern
- Mit eigener Hardware ist gegenüber der Cloud eine Kostenoptimierung möglich:
- Der Hardwarekauf kann langfristig geplant werden, wenn Verbrauchsmuster genau verstanden werden
- 25 Jahre Erfahrung im Aufbau und Betrieb von Hardware und Netzwerken
- Nutzung der Hardware über 5 bis 10 Jahre, wodurch die Kosten abgeschrieben werden
Hardware-Entwicklung
- Frühe IMAP-Server nutzten RAID mit 15k-RPM-SAS-Laufwerken und 7,2k-RPM-SATA-Laufwerken
- E-Mail-Daten wurden zunächst auf schnellen SAS-Laufwerken gespeichert und anschließend in Zeiten geringer Serverlast auf SATA-Laufwerke verschoben
- Diese Systeme wurden mit Cyrus IMAP sowie separaten Partitionswerkzeugen unterstützt
Umstieg auf NVMe SSD
- Vor einigen Jahren fand ein groß angelegtes Upgrade auf eine AMD-basierte 2U-Plattform mit NVMe SSDs statt
- Leistung und Speicherdichte stiegen deutlich
- Wegen fehlender RAID-Controller wurde das ZFS-Dateisystem eingeführt
- ZFS nutzt ein Copy-on-Write-Modell und bietet hervorragende I/O-Leistung
ZFS-Kompression und -Tuning
- Mit Zstandard-Kompression wurde der Speicherbedarf von E-Mail-Daten um rund 40 % reduziert
- Die Anpassung der ZFS-Rekordgröße verbesserte die Kompression weiter:
- Bei 128 kB Rekordgröße etwa 40 % Einsparung
- Bei 512 kB etwa 42 % Einsparung
ZFS-Verschlüsselung und -Integration
- Die bisherige LUKS-Verschlüsselung wurde durch die native ZFS-Verschlüsselung ersetzt, wodurch die Systemkomplexität sank
- In drei Jahren wurde ZFS auf allen E-Mail-Servern, Datenbanken, Log- und Backup-Servern eingeführt
SSD-Lebensdauer und Zuverlässigkeit
- Prüfung von SSD-Lebensdauer und -Zuverlässigkeit:
- Rechenzentrums-SSDs zeigten über drei Jahre eine sehr niedrige Ausfallrate
- Über zehnmal höhere Zuverlässigkeit als HDDs
Speicherbetriebskostenvergleich
Cloud-Speicher
- Amazon S3: $252.000 pro Jahr
- Backblaze B2: $72.000 pro Jahr
- Vorteil: Unbegrenzter Speicher, Auswahl zwischen zahlreichen Anbietern
- Nachteil: Umsetzungsaufwand, potenziell steigende fortlaufende Kosten
HDD-Upgrade
- Upgrade auf 24TB-HDD: ca. $6.000 pro Server
- Vorteil: Wiederverwendung vorhandener Hardware, niedrige Kosten
- Nachteil: Längere Datenwiederherstellungszeit, unzureichende I/O-Leistung
SSD-NVMe-Server
- 2U-SSD-Server: $190.000 (1220 TB Speicherkapazität)
- Vorteil: Hohe I/O-Leistung, Zuverlässigkeit, weniger Platz- und Energiebedarf
- Nachteil: Hohe Anfangsinvestition
Finale Entscheidung und Ergebnis
- Umstellung auf NVMe-SSD-basierte ZFS-Server:
- Hohe Leistung und Zuverlässigkeit
- Kompatibel mit dem bestehenden System, ohne neue Entwicklungsarbeit
- Datentransferrate: über 5 GB/s
Fazit
- Der Betrieb eigener Hardware ist nicht für alle geeignet, kann jedoch langfristig Kosten senken und die Kontrolle erhöhen
- Fastmail erreicht mit eigener Hardware sowohl Stabilität als auch Kosteneffizienz
3 Kommentare
Ich frage mich auch, ob die Verfügbarkeit auf AZ-Ebene gewährleistet ist.
Ehrlich gesagt, ein Unternehmen, das ohne Cloud läuft und trotzdem reibungslos funktioniert, gehört in der Regel zu einem von zwei Fällen: Einer, in dem die Personaldichte hoch genug ist und es wirklich stabil läuft; der andere, bei dem das Personalniveau nicht gut ist, das System geringe Verfügbarkeit hat und die Sicherheit schwach ist, man aber trotzdem glaubt, es würde gut laufen. In Korea ist Letzteres eindeutig überwiegt.
Außerhalb von Spezialberufen, in denen man tatsächlich gute Fachkräfte braucht, wird Personal in Korea eher geringgeschätzt. Deshalb ist es in einem Land wie Korea meiner Ansicht nach sinnvoller, die Verantwortung einem ausländischen CSP mit guten Talenten zu überlassen. Oder man investiert wirklich konsequent in Menschen.
Ehrlich gesagt: Wenn die Zugriffszahlen stabil sind, kann der Verzicht auf Cloud kurzfristig billiger wirken. Aber damit hohe Verfügbarkeit und Sicherheit ordentlich betrieben werden können, braucht ein Unternehmen Personal, das in der Lage ist, physische Server zu betreiben. Gibt es diese Leute nicht, dann ist die richtige Wahl die Cloud. Dass Startups ohne solche Talente nicht einfach aus Prinzip auf Cloud verzichten sollten, versteht sich von selbst.
37signals verzichtet ebenfalls auf Cloud und setzt eine Gehaltsuntergrenze, um Talente anzuziehen; diese liegt bei 70.000 Dollar, und mit dem gestiegenen Dollarkurs sind das in Won über 100 Millionen. In Korea erhalten IT-Fachkräfte in der Regel ein niedrigeres Gehalt. Dort investiert man entsprechend massiv in Human Resources und verfügt über gutes Personal, das auch On-Premise betreiben kann, aber da zu viel Geld in der Cloud landet, hat man offenbar auf Bare-Metal umgestellt. Und dabei wurde auch etwas wie Kamal entwickelt.
Aber können koreanische Unternehmen so etwas wie Kamal auf die Beine stellen? Wenn man nicht bereit ist, in Menschen zu investieren, ist es besser, auf einen CSP wie AWS zu setzen. Dass On-Premise nicht automatisch sicher ist, wurde übrigens durch den Kadokawa-Hack-Fall gezeigt.
Hacker News Kommentar