Datenübertragungskosten in AWS drastisch senken

So lassen sich die Datenübertragungskosten in AWS um 99 % senken

• Bei der Datenübertragung in AWS ist es leicht, versehentlich zu hohe Kosten zu verursachen, insbesondere wenn man den Datentransfer nicht genau beachtet.
• AWS berechnet für Datenübertragung die folgenden Gebühren:
  • Für die Übertragung von Daten aus AWS ins öffentliche Internet werden je nach Region zwischen 0,09 und 0,154 US-Dollar pro GB berechnet.
  • Für Datenübertragung zwischen AWS-Regionen werden zwischen 0,02 und 0,147 US-Dollar pro GB berechnet; dabei handelt es sich um Kosten für Datenübertragungen, die das AWS-Netzwerk nicht verlassen.
  • Für Datenübertragung zwischen Availability Zones innerhalb derselben AWS-Region fallen 0,01 US-Dollar pro GB an; dieser Preis ist in allen Regionen gleich.

AWS PrivateLink und VPC-Endpunkte nutzen

• Mit AWS PrivateLink und VPC-Endpunkten lässt sich sicherstellen, dass Daten das AWS-Netzwerk nicht verlassen, was nicht nur preislich, sondern auch aus Sicherheitsgründen vorteilhaft ist.
• Diese Funktionen sind nicht kostenlos und haben eigene Einschränkungen sowie eine komplexe Preisstruktur; weitere Details dazu finden sich bei AWS und Vantage.

Datenübertragungskosten mit S3 umgehen

• Die meisten Storage-Klassen von S3 speichern Daten nicht auf Ebene der Availability Zone, sondern auf regionaler Ebene.
• Einige Storage-Klassen wie S3 One Zone-Infrequent Access und S3 Express One Zone speichern Daten nur in einer einzelnen Availability Zone.
• Daten in einem Standard-S3-Bucket sind aus allen AWS-Availability-Zones gleich nutzbar, und das Herunterladen von Daten aus S3 ist kostenlos (nur bei Datenübertragungen zwischen Regionen oder ins öffentliche Internet fallen die üblichen Datentransfergebühren an).

Demo

• Es wird ein neues AWS-Konto angelegt, um Messrauschen bei der Preisermittlung zu vermeiden.
• Es werden zwei Experimente durchgeführt:
  1. Im ersten Experiment werden zwei EC2-Instanzen in einer VPC mit privaten Subnetzen platziert, und eine 1-TB-Datei wird von der Instanz in us-east-1a an die Instanz in us-east-1b übertragen.
  2. Im zweiten Experiment werden zwei Instanzen in einer VPC mit S3-Gateway-Endpunkt platziert, anschließend wird eine 1-TB-Datei von der Instanz in us-east-1a in einen S3-Bucket hochgeladen und danach von der Instanz in us-east-1b heruntergeladen.

Ergebnisse

• Das Experiment mit standardmäßiger Datenübertragung verursacht wie erwartet Kosten von 20 US-Dollar.
• Das S3-basierte Experiment zur Datenübertragung verursacht nur einige Cent an Speicherkosten; tatsächlich wurden in der Praxis überhaupt keine S3-Speicherkosten berechnet.

Fazit

• AWS repliziert S3-Daten zwischen Availability Zones, und diese Kosten sind bereits in den S3-Speicherkosten enthalten.
• Durch das Hochladen der Daten nach S3 und anschließendes sofortiges Löschen lassen sich 99 % der Kosten einsparen.
• Diese Methode ersetzt keinen bestehenden Code für Datenübertragung und kann eine höhere Latenz als eine direkte Netzwerkverbindung haben, ist aber eine effektive Option, wenn Kosteneinsparungen im Vordergrund stehen.

GN⁺-Meinung

• Dieser Artikel zeigt eine kreative Möglichkeit, Datenübertragungskosten in AWS zu senken, und kann für Unternehmen oder Einzelpersonen, die Cloud-Services nutzen, erhebliche Einsparungen bringen.
• Besonders die Methode zur Datenübertragung über S3 ist eine effektive Strategie, um die beim Verschieben von Daten innerhalb von AWS entstehenden Kosten deutlich zu reduzieren.
• Solche Ansätze zur Kostensenkung liefern sehr nützliche Informationen für Cloud-Architekten oder Systemadministratoren, die ihre Cloud-Infrastruktur optimieren möchten.

[GN⁺]

Hacker-News-Kommentare

• Nutzung von Lightsail-Instanzen

  • Lightsail-Instanzen können verwendet werden, um Daten von AWS-Ressourcen (z. B. EC2-Instanzen oder S3-Buckets) zu „proxien“.
  • Jede Lightsail-Instanz bietet ein bestimmtes im Preis enthaltenes Datenübertragungsvolumen ($3.5-Instanz: 1 TB, $5-Instanz: 2 TB usw.).
  • Die $10-Instanz bietet 3 TB Traffic und hat damit das beste Preis-Leistungs-Verhältnis.
  • 3 TB Traffic kosten bei EC2 $276.48, bei einem S3-Bucket $69.
  • Nachteil: Bei der Nutzung von Lightsail-Instanzen werden sowohl eingehender als auch ausgehender Traffic als „Traffic“ gezählt.

• Warnung vor Tricks zur Kostensenkung

  • Es gibt verschiedene Tricks, um Kosten zu senken und kostenlose Ressourcen zu erhalten.
  • Solche Methoden sind clever, aber unzuverlässig.
  • Es handelt sich um dieselbe Art von Hack wie Krypto-Mining in GitHub Actions über OSS-Repositories.
  • Als interessante Hacking-Übung zu betrachten, aber nicht in echten Produkten einsetzen, da das Risiko einer Sperrung des AWS-Kontos besteht.

• Überlegungen zur Nutzung von Cloud-Lösungen statt VPS

  • Wie löst man bei der Nutzung eines VPS das Problem der Hochverfügbarkeit (High Availability)?
  • Auch kleine Unternehmen müssen durchgehend verfügbar sein.
  • Üblich ist es, dieselbe Infrastruktur auf zwei oder mehr VPS-Instanzen einzurichten und Load Balancing durchzuführen.

• Berechnung der S3-Speicherkosten

  • S3-Speicherkosten werden pro GB-Monat abgerechnet.
  • Wenn 1 TB Daten eine Stunde lang im Bucket verbleibt, kostet das etwa 3 Cent.
  • Kurz vor dem Löschen der Daten können die Kosten noch niedriger ausfallen.
  • Entscheidend ist der TimedByteStorage-Wert im Kosten- und Nutzungsbericht.

• Ähnliches geschlossenes Schlupfloch bei GCP

  • GCP hat 2023 ein ähnliches Schlupfloch geschlossen, nachdem es von Nutzern missbraucht wurde.
  • Es ist zu erwarten, dass AWS dieselbe Maßnahme ergreift, falls sich ein solches Verhalten weit verbreitet.

• Zusätzliche Tipps zur Senkung von Cloud-Kosten

  • Wenn man ein großer AWS-Kunde ist, kann man um Rabatte bitten.
  • Alles in einer Availability Zone (AZ) zu platzieren, kann bei der Kostensenkung helfen.
  • Bei der Nutzung mehrerer AZs wird ein lastabhängiges AZ-Balancing durchgeführt.

• Alternativen zur Cloud

  • Alternativen sind Self-Hosting ohne komplexe und teure Cloud-Services, die Nutzung von Diensten ohne Datenübertragungsgebühren wie Cloudflare oder günstige VPS-Hosting-Angebote.
  • Wenn man an dem Punkt ist, an dem eine Analyse der Cloud-Kosten nötig wird, sollte man die Nutzung der Cloud noch einmal überdenken.

• Komplexität und Optimierungsprobleme bei AWS

  • AWS ist sehr komplex, sodass es für Kunden schwierig ist, auch nur einen einzelnen Aspekt zu optimieren.
  • Wenn zu viele Menschen solche Tricks nutzen, kann AWS das Schlupfloch schließen.

• Alternativen bei hohem Bandbreitenverbrauch

  • Bei deutlich günstigeren Bandbreitenpreisen sollte man Dienste wie Leaseweb, PhoenixNAP, Hetzner oder OVH in Betracht ziehen.
  • In manchen Fällen lässt sich über die Bandbreitenpreise von AWS nicht verhandeln.

• Trick mit ECR

  • Mit ECR lassen sich monatlich bis zu 5 TB kostenlos ins Internet übertragen.
  • Die Container-Images müssen öffentlich sein, der Inhalt kann jedoch verschlüsselt werden.
  • Nützlich beim Speichern von Medienarchiven in Glacier.