7 Punkte von GN⁺ 2024-12-23 | 3 Kommentare | Auf WhatsApp teilen
  • Die Diskussion über die Cloud-Repatriierung nimmt zu
  • Fastmail optimiert seit über 20 Jahren den Betrieb mit eigenen Bare-Metal-Servern
  • Mit eigener Hardware ist gegenüber der Cloud eine Kostenoptimierung möglich:
    • Der Hardwarekauf kann langfristig geplant werden, wenn Verbrauchsmuster genau verstanden werden
    • 25 Jahre Erfahrung im Aufbau und Betrieb von Hardware und Netzwerken
    • Nutzung der Hardware über 5 bis 10 Jahre, wodurch die Kosten abgeschrieben werden

Hardware-Entwicklung

  • Frühe IMAP-Server nutzten RAID mit 15k-RPM-SAS-Laufwerken und 7,2k-RPM-SATA-Laufwerken
  • E-Mail-Daten wurden zunächst auf schnellen SAS-Laufwerken gespeichert und anschließend in Zeiten geringer Serverlast auf SATA-Laufwerke verschoben
  • Diese Systeme wurden mit Cyrus IMAP sowie separaten Partitionswerkzeugen unterstützt

Umstieg auf NVMe SSD

  • Vor einigen Jahren fand ein groß angelegtes Upgrade auf eine AMD-basierte 2U-Plattform mit NVMe SSDs statt
    • Leistung und Speicherdichte stiegen deutlich
  • Wegen fehlender RAID-Controller wurde das ZFS-Dateisystem eingeführt
  • ZFS nutzt ein Copy-on-Write-Modell und bietet hervorragende I/O-Leistung

ZFS-Kompression und -Tuning

  • Mit Zstandard-Kompression wurde der Speicherbedarf von E-Mail-Daten um rund 40 % reduziert
  • Die Anpassung der ZFS-Rekordgröße verbesserte die Kompression weiter:
    • Bei 128 kB Rekordgröße etwa 40 % Einsparung
    • Bei 512 kB etwa 42 % Einsparung

ZFS-Verschlüsselung und -Integration

  • Die bisherige LUKS-Verschlüsselung wurde durch die native ZFS-Verschlüsselung ersetzt, wodurch die Systemkomplexität sank
  • In drei Jahren wurde ZFS auf allen E-Mail-Servern, Datenbanken, Log- und Backup-Servern eingeführt

SSD-Lebensdauer und Zuverlässigkeit

  • Prüfung von SSD-Lebensdauer und -Zuverlässigkeit:
    • Rechenzentrums-SSDs zeigten über drei Jahre eine sehr niedrige Ausfallrate
    • Über zehnmal höhere Zuverlässigkeit als HDDs

Speicherbetriebskostenvergleich

Cloud-Speicher

  • Amazon S3: $252.000 pro Jahr
  • Backblaze B2: $72.000 pro Jahr
  • Vorteil: Unbegrenzter Speicher, Auswahl zwischen zahlreichen Anbietern
  • Nachteil: Umsetzungsaufwand, potenziell steigende fortlaufende Kosten

HDD-Upgrade

  • Upgrade auf 24TB-HDD: ca. $6.000 pro Server
  • Vorteil: Wiederverwendung vorhandener Hardware, niedrige Kosten
  • Nachteil: Längere Datenwiederherstellungszeit, unzureichende I/O-Leistung

SSD-NVMe-Server

  • 2U-SSD-Server: $190.000 (1220 TB Speicherkapazität)
  • Vorteil: Hohe I/O-Leistung, Zuverlässigkeit, weniger Platz- und Energiebedarf
  • Nachteil: Hohe Anfangsinvestition

Finale Entscheidung und Ergebnis

  • Umstellung auf NVMe-SSD-basierte ZFS-Server:
    • Hohe Leistung und Zuverlässigkeit
    • Kompatibel mit dem bestehenden System, ohne neue Entwicklungsarbeit
    • Datentransferrate: über 5 GB/s

Fazit

  • Der Betrieb eigener Hardware ist nicht für alle geeignet, kann jedoch langfristig Kosten senken und die Kontrolle erhöhen
  • Fastmail erreicht mit eigener Hardware sowohl Stabilität als auch Kosten­effizienz

3 Kommentare

 
colossus 2024-12-24

Ich frage mich auch, ob die Verfügbarkeit auf AZ-Ebene gewährleistet ist.

 
spp00 2024-12-23

Ehrlich gesagt, ein Unternehmen, das ohne Cloud läuft und trotzdem reibungslos funktioniert, gehört in der Regel zu einem von zwei Fällen: Einer, in dem die Personaldichte hoch genug ist und es wirklich stabil läuft; der andere, bei dem das Personalniveau nicht gut ist, das System geringe Verfügbarkeit hat und die Sicherheit schwach ist, man aber trotzdem glaubt, es würde gut laufen. In Korea ist Letzteres eindeutig überwiegt.

Außerhalb von Spezialberufen, in denen man tatsächlich gute Fachkräfte braucht, wird Personal in Korea eher geringgeschätzt. Deshalb ist es in einem Land wie Korea meiner Ansicht nach sinnvoller, die Verantwortung einem ausländischen CSP mit guten Talenten zu überlassen. Oder man investiert wirklich konsequent in Menschen.

Ehrlich gesagt: Wenn die Zugriffszahlen stabil sind, kann der Verzicht auf Cloud kurzfristig billiger wirken. Aber damit hohe Verfügbarkeit und Sicherheit ordentlich betrieben werden können, braucht ein Unternehmen Personal, das in der Lage ist, physische Server zu betreiben. Gibt es diese Leute nicht, dann ist die richtige Wahl die Cloud. Dass Startups ohne solche Talente nicht einfach aus Prinzip auf Cloud verzichten sollten, versteht sich von selbst.

37signals verzichtet ebenfalls auf Cloud und setzt eine Gehaltsuntergrenze, um Talente anzuziehen; diese liegt bei 70.000 Dollar, und mit dem gestiegenen Dollarkurs sind das in Won über 100 Millionen. In Korea erhalten IT-Fachkräfte in der Regel ein niedrigeres Gehalt. Dort investiert man entsprechend massiv in Human Resources und verfügt über gutes Personal, das auch On-Premise betreiben kann, aber da zu viel Geld in der Cloud landet, hat man offenbar auf Bare-Metal umgestellt. Und dabei wurde auch etwas wie Kamal entwickelt.

Aber können koreanische Unternehmen so etwas wie Kamal auf die Beine stellen? Wenn man nicht bereit ist, in Menschen zu investieren, ist es besser, auf einen CSP wie AWS zu setzen. Dass On-Premise nicht automatisch sicher ist, wurde übrigens durch den Kadokawa-Hack-Fall gezeigt.

 
GN⁺ 2024-12-23
Hacker News Kommentar
  • FastMail setzte auf eigene Hardware, weil es bei der Gründung 1999 nur wenige Alternativen gab. Sie nutzten einen einzelnen Rackspace-Server; die Kosten lagen damals bei 70 USD pro Monat. VPS oder SaaS waren damals praktisch keine Alternative.
    • Nachdem Rob hinzukam, wurden die Server immer größer, und man dachte über Colocation nach. IBM und NYI kümmerten sich um Remote-Support und Hardware-Probleme sehr gut.
    • Als Bron hinzukam, wurde alles automatisiert. Mit Linux, Open-Source-Tools und Perl wurde es günstig und zuverlässig betrieben.
    • Als Cloud-Dienste wie AWS an Popularität gewannen, bevorzugen sie weiterhin Bare-Metal-Server wegen der Kosten und der Komplexität.
    • Es gibt zwar Bedenken wegen der steigenden Abhängigkeit von SaaS, aber ein Schulungsplan ist in Arbeit.
  • Der Umstieg auf Cloud ist interessant. Die meisten Leute wollen sich nicht um Hardware-Management kümmern, aber in puncto Kosten ist ein eigenes System besser.
    • Pro-Cloud-Argumente richten sich oft an Menschen mit begrenztem technischem Verständnis.
    • Gründe für die Unterstützung der Cloud sind: Kosten, Datenschutz, Sicherheit und Verhinderung von Internetzentralisierung.
    • Der Ansatz von FastMail ist unaufgeregt und respektabel. Die Cloud-Euphorie scheint abzunehmen.
  • Cloud steht mit Left-Shifting in DevOps in Verbindung. Einsparen ist nicht der Hauptzweck.
    • Bei Hardware dauert das System-Provisioning lange, während es in der Cloud mit einem einfachen Skript möglich ist.
    • Wenn die Arbeitslast vorhersehbar und die Engineering-Kultur stark ist, braucht man Cloud womöglich nicht.
  • FastMail ist nicht vertrauenswürdig. Nach der Übernahme von Pobox ist der Service beim E-Mail-Forwarding gescheitert. Eine Rückerstattung wurde ebenfalls verweigert.
  • Es wurde auf BareMetalSavings.com verwiesen, mit dem man die Kosten für den Ausstieg aus der Cloud abschätzen kann.
    • Man sollte vorsichtig sein, denn die ZFS-Verschlüsselung kann instabil sein.
  • Der Ansatz von FastMail ist interessant. Zwei interessante Punkte zu SSDs werden erwähnt.
    • SSD-Laufwerke sind deutlich zuverlässiger als HDD.
  • Mir gefällt FastMails Transparenz und logische Entscheidung. Es ist es wert, für diesen E-Mail-Service zu zahlen.
  • Viele meinen, Self-Hosting sei besser als Cloud. Die Diskussion darüber, wie man geschäftliche Anwendungen effektiv betreibt, fehlt jedoch.
    • Für das Infrastruktur-Management sind zahlreiche Funktionen nötig. Der Einsatz von SaaS kann den Zweck einer On-Premises-Infrastruktur zunichte machen.
  • Einer der Vorteile der Cloud ist die Zuverlässigkeit im kleinen Maßstab.
    • Ich nutze AWS, und bei kleinem Umfang ist die Cloud die beste Wahl.
  • FastMail war einer der besten E-Mail-Provider. Die Oberfläche ist intuitiv und reagiert schnell.
    • Ich bin zu Protonmail gewechselt, ziehe jedoch aufgrund der guten Benutzererfahrung eine Rückkehr zu FastMail in Betracht.