Zu einer EU-Cloud von AWS migrieren – 62 % Kosten gespart

• Hopsworks migrierte im 4. Quartal 2024 erfolgreich zu OVHCloud, um die hohen Egress-Kosten bei AWS zu senken, und reduzierte die Kosten um 62 %
• Besonders die Kosten für ausgehenden Netzwerkverkehr waren ein wesentlicher Faktor für die Gesamtersparnis: Bei AWS kosteten sie $90 pro 1 TB, bei OVH dagegen nur $11 pro 1 TB, also lediglich ein Achtel
• AWS bietet ein ausgereiftes Ökosystem und hohe Zuverlässigkeit, OVHCloud dagegen eine einfache Preisstruktur und wettbewerbsfähige Leistung zu geringeren Kosten
  • Managed Kubernetes: AWS → $0.10 pro Stunde/Cluster ($72/Monat) / OVHCloud → kostenlos
  • Kosten für ausgehenden Netzwerkverkehr: AWS → $90 pro 1 TB / OVHCloud → $11 pro 1 TB (in Local Zones kostenlos)
  • S3-Storage: AWS → $2300/Monat pro 1 TB / OVHCloud → $800/Monat pro 1 TB
  • Put/Get-Anfragen: AWS → $566 pro 100 Millionen Anfragen / OVHCloud → kostenlos
  • Container Registry: AWS → $212/Monat für 5 TB / OVHCloud → $212/Monat für 5 TB ($44/Monat für 600 GB)
  • Datenübertragung zwischen Availability Zones: AWS → $2000 für 100 TB / OVHCloud → kostenlos
  • EBS-Instanzen: AWS → $81.92/Monat pro 1 TB → OVHCloud / $97.28/Monat pro 1 TB

Einführung in Hopsworks

• Hopsworks ist eine offene Plattform zur Entwicklung und zum Betrieb großer AI-Systeme
  • Kann auf jedem Kubernetes-Cluster bereitgestellt werden, auch in Public Clouds und eigenständigen Rechenzentren
  • Kann als Alternative zu MLOps-Plattformen wie AWS Sagemaker, GCP Vertex und Databricks genutzt werden
  • In der Forschungsarbeit SIGMOD24 werden die leistungsstärkere Echtzeit-AI sowie die hervorragende Integration von Python und Lakehouse hervorgehoben
  • Wird als erster Feature Store für ML anerkannt
• Unterstützung für Daten und Compute
  • Lakehouse-Layer: nutzt Delta Lake, Apache Hudi und Iceberg (Support folgt bald) → Speicherung großer historischer Datenmengen und Unterstützung für Batch-Inferenz
  • Low-Latency-Datenbank RonDB: unterstützt Echtzeit-AI-Workloads und Snowflake-Schema-Datenmodelle
  • Compute-Unterstützung: unterstützt Python, Spark, Ray und GPU-Sharing/-Optimierung auf Kubernetes
    • Eigene Compute-Ressourcen können bereitgestellt werden → Hopsworks kann als Daten-Layer zur Integration von AI-Pipelines genutzt werden
  • Unterstützung für Model Registry und Deployment: Modelle können auf KServe/vLLM bereitgestellt werden
• Hopsworks Serverless (Premium-Version)
  • Bietet kostenlosen Speicherplatz (50 GB Lakehouse-Daten, 100 MB RonDB-Feature-Daten)
  • Unterstützt bis zu 100 Einträge in der Model Registry und 2 Model Deployments
  • Der Großteil des Speicherplatzes ist kostenlos, Compute-Ressourcen sind jedoch nicht kostenlos → die AWS-Hosting-Kosten können bei etwa $8K pro Monat bleiben

Hintergrund der Entscheidung für die Migration von AWS zu OVH

• Mit der Einführung des Hopsworks Query Service gab es Bedenken wegen steigender Daten-Egress-Kosten
  • Der Python-Client nutzt Arrow und DuckDB → Datenmengen von mehreren hundert MB bis zu GB können in Pandas DataFrames eingelesen werden
  • Möglicher starker Anstieg der Egress-Kosten bei AWS → Risiko steigender Ausgaben erkannt
• Entscheidung für die Migration zu OVHCloud
  • OVH ist ein in Europa ansässiger Cloud-Anbieter und stellt alle benötigten Managed Services bereit
    • Managed Kubernetes, Managed Container Registry und S3-kompatiblen Object Storage
  • Hopsworks wurde mit Helm Charts auf OVH installiert → bestätigte reibungslose Funktion
  • Da sich die meisten Nutzer in Nordamerika befinden, wurde beschlossen, die OVH-Infrastruktur in Nordamerika zu betreiben

Effekt der Kostensenkung

• Nach der Migration zu OVH sanken die Kosten um 62 %
• Die Belastung durch die hohen Egress-Kosten von AWS entfiel
• In einer Serverless-Umgebung blieben Storage- und Compute-Leistung erhalten, während die Kosteneffizienz verbessert wurde

Migration von AWS-Services zu OVHCloud-Services

• Es bestehen nur Abhängigkeiten von Kubernetes und S3 → Architektur wurde so entworfen, dass keine Abhängigkeit von Cloud-spezifischen Services besteht
  • Observability-Stack: basiert auf OpenSearch und OpenSearch Dashboards
  • Metrik-Stack: basiert auf Prometheus und Grafana

Vergleich der Managed-Kubernetes-Services

• Sowohl AWS als auch OVHCloud bieten Managed-Kubernetes-Services an
  • AWS bietet ein ausgereiftes Ökosystem und hohe Zuverlässigkeit
  • OVHCloud ist kostenlos und damit aus Kostensicht vorteilhaft
• AWS bietet Amazon Elastic Kubernetes Service (EKS), der ausgereift und weit verbreitet ist sowie hohe Verfügbarkeit und ein starkes Ökosystem bietet. Allerdings kostet die Control Plane pro Cluster $0.10 pro Stunde, also etwa $72 pro Monat
• OVHCloud bietet OVHCloud Kubernetes (vollständig verwaltetes Kubernetes), das sehr stabil ist, allerdings kann das Kapazitätslimit von 400 MB für etcd bei einigen Kubernetes-Clustern Probleme verursachen. Die Kosten für die Control Plane des Managed-Kubernetes-Dienstes sind jedoch kostenlos

Vergleich der Kosten für ausgehenden Netzwerkverkehr

• OVHCloud hat sehr niedrige Kosten für ausgehenden Netzwerkverkehr
  • Bei OVHCloud fallen Egress-Kosten nur in einigen neueren Regionen an (etwa ein Achtel von AWS)
  • In vielen Cloud-Regionen ist ausgehender Traffic kostenlos (Stand März 2025)
  • Bei AWS sind die Egress-Kosten sehr hoch und verursachen eine erhebliche Kostenbelastung
• AWS bietet Services weltweit an, und die Kosten für ausgehenden Datenverkehr betragen $0.09 pro GB, also $90 pro Monat für 1 TB Transfer
• OVHCloud bietet Services in Europa und Nordamerika an
  • In „Local Zones“ ist ausgehender Traffic kostenlos
  • In anderen Regionen kostet er $0.011 pro GB, also $11 pro Monat für 1 TB Transfer

Vergleich der S3-Storage-Services

• AWS S3 ist sehr zuverlässig und hoch verfügbar, aber teuer
  • AWS bietet erstklassige Leistung bei Cloud-basiertem Object Storage
  • OVHCloud S3 behält die Zuverlässigkeit bei und kostet nur etwa ein Drittel von AWS
• AWS S3 gilt als einer der zuverlässigsten Services; die Speicherkosten liegen bei $0.023 pro GB, also $2300 pro Monat für 100 TB Storage
  • Put, Copy, List und Post kosten $0.005 pro 1000 Anfragen, GET und SELECT $0.0004 pro 1000 Anfragen, was bei 100 Millionen Operationen etwa $566 pro Monat ergibt
• OVHCloud S3 ist sehr zuverlässig und günstig beim Storage
  • Die Speicherkosten liegen bei $0.008 pro GB, also $800 pro Monat für 100 TB Storage
  • Put/Get-Operationen sind kostenlos

Vergleich der Container-Registry-Services

• AWS ECR ist ein ausgereifter und skalierbarer Managed Service
  • Hoch skalierbar und flexibel in der Konfiguration
  • OVHCloud Harbor nutzt feste Tarife und kann bei der Skalierbarkeit Einschränkungen haben
• AWS ECR bietet einen skalierbaren und ausgereiften Service
  • Die Speicherkosten liegen bei $0.10 pro GB, also $212 pro Monat für 5 TB Storage
  • Insgesamt bessere Leistung als OVHCloud
• OVHCloud Harbor hat Begrenzungen bei der Anzahl gleichzeitiger Verbindungen (45 oder 90)
  • Die Speicherkosten betragen $44 pro Monat für 600 GB und $212 pro Monat für 5 TB
  • Eine flexible Skalierung über 5 TB hinaus ist nicht möglich

Vergleich der Kosten für Datenübertragung zwischen Availability Zones

• Hopsworks repliziert Services zwischen Instanzen, um Ausfälle von Availability Zones (AZ) zu tolerieren
  • Dadurch entsteht Netzwerkverkehr zwischen Instanzen in verschiedenen Availability Zones
• AWS berechnet für Datentransfer $0.02 pro GB ($0.01 ausgehend + $0.01 eingehend)
  • 100 TB Transfer kosten $2000 pro Monat
• OVHCloud berechnet keine Kosten für Datenübertragung zwischen Availability Zones

Vergleich der EBS-Instanzen

• Hopsworks verwendet EBS (Block Storage) für Services, die permanente Volumes benötigen
  • AWS nutzt Elastic Block Storage
  • OVH nutzt Ceph-basierten Block Storage
  • Einige Instanzen verwenden lokale NVMe-Disks → OVH bietet bei kleinen Storages (1–4 TB) höheren Durchsatz
• AWS bietet mehr Instanztypen, aber lokaler NVMe-Storage ist nur bei großen Disks verfügbar
  • Die Kosten liegen bei $0.08 pro GB, also $81.92 pro Monat für 1 TB
• OVHCloud bietet weniger Instanztypen, dafür aber gute NVMe-Leistung bei kleinen Storages
  • Die Kosten liegen bei $0.095 pro GB, also $97.28 pro Monat für 1 TB

Der tatsächliche Migrationsprozess

• Ankündigung des Wartungsfensters
  • Am 26. November 2024 wurde ein Wartungsfenster von 24 Stunden angekündigt
• Backup und Durchführung der Migration
  • Der Hopsworks-Cluster wurde in einen AWS-S3-Bucket gesichert und anschließend in einen S3-Bucket von OVHCloud migriert
  • Es gab etwas Downtime, die Migration wurde jedoch ohne Probleme abgeschlossen
• Tests und Wiederaufnahme des Betriebs
  • Der Hopsworks-Cluster wurde mit Helm charts auf OVH bereitgestellt
  • Nach dem Testprozess und der Bestätigung, dass keine Probleme vorlagen, wurde der Login wieder freigegeben
  • Nach der Migration traten keine Probleme mit Benutzerkonten auf

Zusammenfassung

• Im 4. Quartal 2024 wurde die Umstellung von Tausenden Nutzern von AWS auf OVHCloud abgeschlossen
• Sowohl OVH als auch Hopsworks sind in Europa entwickelte Technologien, der Hopsworks-Serverless-Service wird jedoch in Nordamerika angeboten, wo sich die meisten Nutzer befinden
• Die einfache und günstige Preisstruktur von OVH ist attraktiv
  • Nicht nur die Kosten für ausgehenden Netzwerkverkehr, sondern die meisten Servicekosten sind niedriger
  • Auch die allgemeine Servicequalität ist ausgezeichnet

[kaydash]

Ein Vorteil von AWS ist auch, dass es viele Referenzen gibt.
Wenn man jedoch Enterprise-Anwendungen betreiben will, wirken die Kosten wohl ziemlich happig.
Wenn es auch bei anderen CSPs viele Referenzen gibt und die Stabilität gewährleistet ist, würde ich bei niedrigeren Kosten einen Wechsel in Erwägung ziehen.

[GN⁺]

Hacker-News-Kommentare

• OVH ist im Vergleich zu AWS als günstiger Hosting-Anbieter bekannt. Ich frage mich, ob das in Bezug auf Engineering und Hochverfügbarkeit ausgeglichen wird.

  • Ich arbeite bei einer Beratungsfirma daran, Cloud-Infrastruktur einzurichten und die Sicherheit zu verbessern.
  • Wir haben viele Kunden, die verschiedene Plattformen nutzen, von AWS, Azure und GCP bis hin zu kleinen regionalen Cloud-Anbietern.
  • Mit kleinen Cloud-Anbietern kann man die Kosten etwa halbieren, aber dafür können erfahrene Ingenieure nötig sein.
  • Viele kleinere Unternehmen konzentrieren sich auf AWS, aber wenn man AWS-spezifische Services nutzt, kann man nicht einfach woandershin migrieren.

• In Kanada überlegen wir ebenfalls, AWS zu verlassen. OVH hat in Kanada keinen guten Ruf.

  • Der größte Knackpunkt ist eine verlässliche Alternative zu RDS-postgres.
  • Die Kosten sind nicht das Hauptthema, aber Einsparungen wären ein willkommener Nebeneffekt.
  • Anforderungen: gute Unterstützung für OpenTofu (oder Terraform), Zuverlässigkeit, gute Managed-Databases, Rechenzentrum in Kanada.

• Als Teil des Teams bin ich gern bereit, Fragen zu einem Umzug zu besprechen.

• Unsere Firma nutzt ebenfalls OVH. Es ist ziemlich ordentlich und günstig.

  • Der Nachteil ist, dass es vor 6 Jahren im Rechenzentrum ein Stromproblem gab und wir den ganzen Tag Ausfall hatten.
  • Inzwischen sind wir auf eine Architektur mit mehreren Cloud-Anbietern umgestiegen und betreiben sie günstiger als AWS.

• Nachdem ich 3 Jahre mit AWS gearbeitet habe, würde ich sagen, AWS ist ein brauchbarer Geschäftspartner.

  • Es ist teuer und meistens funktioniert alles, aber bei den Details der Zuverlässigkeit merkt man Unterschiede.
  • Wegen der sich verschlechternden Beziehungen zwischen Europa und den USA könnten Cloud-Services zu einer Waffe werden.

• Wenn die Zahlen stimmen und man migrieren kann, ist das gut.

  • Man sollte auf jeden Fall einen soliden Backup-Plan haben. OVH hat schon einmal durch einen Brand Daten verloren.

• Ich habe OVH für ein privates Projekt genutzt, dann aber wieder aufgehört. Sie blockieren zufällig IPs aus dem iCloud Private Relay-Netzwerk.

  • Der SPF-Record des E-Mail-Services ist falsch.
  • Das wurde über ein Jahr lang nicht behoben, deshalb habe ich die E-Mails woandershin umgezogen.

• Wenn man Daten zu OVH migriert, sollte man alle Daten bei einem anderen Anbieter sichern.

  • Es gab einen Fall, in dem in einem OVH-Rechenzentrum ein Brand ausbrach und dabei auch die Backups verloren gingen.

• Ich frage mich, warum man statt OVH nicht Scaleway.com gewählt hat.

  • Scaleway ist ebenfalls ein europäischer Anbieter und bietet viele Services auf dem Niveau der Managed Services von AWS.

• Es gibt keinen Grund, bei AWS oder Azure zu bleiben, aber die Alternativen werden weniger stark vermarktet, sodass es schwer ist, das Management zu überzeugen.