Datenübertragungskosten bei AWS drastisch senken
(bitsand.cloud)- Übertragungen zwischen Availability Zones innerhalb derselben AWS-Region kosten sowohl auf Sende- als auch auf Empfangsseite jeweils 0,01 $ pro GB; eine direkte Übertragung von 1 TB kostet damit etwa 20 $. Nutzt man S3 als temporären Zwischenstopp, lassen sich die Kosten auf Cent-Beträge senken
- Standard-S3-Buckets arbeiten regionsweit; AWS repliziert Daten innerhalb einer Region in mindestens drei Availability Zones, sodass sie aus mehreren AZs derselben Region gleichermaßen zugänglich sind
- Wenn EC2 in derselben Region zu S3 hochlädt und eine andere AZ die Daten herunterlädt, fallen keine Datenübertragungsgebühren an; die tatsächlichen Kosten beschränken sich auf S3-Speicherkosten für die kurze Aufbewahrungszeit und API-Request-Kosten
- In
us-east-1kostet die Aufbewahrung von 1 TB für weniger als 1 Stunde bei S3 Standard nur etwa 0,03 $ — ein 1/720 von 23 $/TB-Monat; selbst 1 PB sinkt von 20.000 $ bei direkter Übertragung auf etwa 32 $ - Diese Methode ist kein Drop-in-Ersatz für Netzwerkübertragungscode und kann höhere Latenz verursachen, kann bei massenhaften Cross-AZ-Übertragungen mit Kosten als oberster Priorität aber über 99 % einsparen
Wo AWS-Datenübertragungskosten stark ansteigen
- Wer Daten in AWS unbedacht verschiebt, häuft schnell Übertragungskosten an
- Zum Zeitpunkt der Erstellung gelten die folgenden wichtigen Datenübertragungspreise
- Ausgehende Übertragungen von AWS ins öffentliche Internet kosten in
us-east-10,09 $ pro GB und inaf-south-1bis zu 0,154 $ pro GB; 1 TB kostet damit 90–154 $ - Ausgehende Übertragungen von einer AWS-Region in eine andere kosten in
us-east-10,02 $ pro GB und inaf-south-1bis zu 0,147 $ pro GB; selbst ohne das AWS-Netzwerk zu verlassen, können für 1 TB 20–147 $ anfallen - Übertragungen zwischen verschiedenen Availability Zones derselben Region kosten 0,01 $ pro GB und Richtung; sendet man 1 TB von
us-east-1anachus-east-1b, ergeben sich 10 $ für ausgehenden und 10 $ für eingehenden Traffic, insgesamt also 20 $
- Ausgehende Übertragungen von AWS ins öffentliche Internet kosten in
- Bei Internet- und regionsübergreifenden Übertragungen zahlt man nur Egress-Gebühren für ausgehende Daten; bei Übertragungen zwischen AZs innerhalb derselben Region fallen Kosten in beide Richtungen an
- Architekturen, die Ressourcen über mehrere Availability Zones verteilen, erhöhen Stabilität und Verfügbarkeit, verursachen aber Cross-AZ-Kosten, wenn Ressourcen in unterschiedlichen AZs Daten austauschen
Vorsicht bei PrivateLink und VPC-Endpunkten
- Überträgt eine EC2-Instanz 1 TB in einen öffentlichen S3-Bucket in einer anderen Region, können statt der erwarteten regionsübergreifenden Übertragungskosten von 20 $ Internet-Egress-Kosten von 90 $ anfallen
- AWS PrivateLink und VPC-Endpunkte sind in Bezug auf Preis und Sicherheit nützlich, weil sie sicherstellen, dass regionsübergreifende Daten das AWS-Netzwerk nicht verlassen
- Diese Funktionen sind jedoch nicht kostenlos und haben eigene Einschränkungen sowie Preisdetails
- Zugehörige Materialien
Cross-AZ-Übertragungskosten mit S3 umgehen
- Die meisten S3-Storage-Klassen speichern Buckets nicht auf Ebene einer Availability Zone, sondern regionsweit
- Nutzer laden nicht in einen
us-east-1a- oderus-east-1b-Bucket hoch, sondern in einenus-east-1-Bucket - AWS repliziert die Daten intern in mindestens drei Availability Zones innerhalb der Region
- Nutzer laden nicht in einen
- Daten in einem Standard-S3-Bucket sind aus allen AWS Availability Zones derselben Region gleichermaßen zugänglich; aus Sicht von S3 macht es keinen Unterschied, ob aus
us-east-1aoderus-east-1bheruntergeladen wird - Downloads innerhalb derselben Region sind bei S3 Standard kostenlos; beim Download in andere Regionen oder ins öffentliche Internet fallen die üblichen Datenübertragungsgebühren an
- S3-Uploads sind für alle Storage-Klassen hinsichtlich der Datenübertragung kostenlos
- Allerdings fallen Kosten für S3-API-Requests an
- Die Request-Kosten sind vergleichsweise gering
Kostenrechnung für 1 TB und 1 PB
- Sendet eine EC2-Instanz in
us-east-1a1 TB direkt an eine EC2-Instanz inus-east-1b, kostet das 20 $ - Lädt man dieselben Daten zu S3 hoch und lässt sie anschließend von einer Instanz in einer anderen AZ herunterladen, sind die Datenübertragungskosten für Upload und Download kostenlos
- Übrig bleiben die S3-Speicherkosten
- S3-Standard-Speicher in
us-east-1kostet 0,023 $ pro GB und Monat, also 23 $ pro TB und Monat - Die Abrechnung erfolgt stundenweise
- Ist das Design so ausgelegt, dass die Daten weniger als 1 Stunde in S3 verbleiben, ergibt sich auf Basis von 720 Stunden ein 1/720 von 23 $, also etwa 0,03 $
- Nach der Übertragung müssen die S3-Objekte gelöscht werden
- S3-Standard-Speicher in
- In dieser Rechnung sinken die Übertragungskosten von 0,02 $ pro GB auf 0,000032 $/GB, also auf etwa 0,15 % des ursprünglichen Preises
- Als extremes Beispiel kostet eine Übertragung von 1 PB mit dieser Methode etwa 32 $ statt 20.000 $ beim Standardweg
Skalierbarkeit und Einschränkungen
- S3 ist hoch skalierbar und eignet sich auch für Muster, bei denen ein in einer AZ hochgeladenes Objekt von vielen Instanzen in einer anderen AZ gleichzeitig heruntergeladen wird
- Tausende Instanzen in der zweiten AZ können dasselbe S3-Objekt herunterladen
- Die S3-Speicherkosten bleiben gleich
- Auch die Download-Kosten bleiben kostenlos
- Für S3-Objektgrößen gelten Einschränkungen
- Ein einzelnes Objekt darf 5 TB nicht überschreiten
- Dateien größer als 5 TB müssen aufgeteilt werden
- Ein einzelner Upload darf 5 GB nicht überschreiten; für größere Dateien ist daher Multipart Upload erforderlich
aws s3 cpverarbeitet Multipart Uploads intern
- S3 One Zone-Infrequent Access und S3 Express One Zone speichern Daten nur in einer einzigen Availability Zone
- Die Speicherkosten sind niedriger, gehen aber zulasten der Verfügbarkeit
- In
us-east-1kostet S3 One Zone-Infrequent Access 0,01 $ pro GB, S3 Infrequent Access 0,0125 $ pro GB - S3 One Zone-Infrequent Access ist auf 99,5 % Verfügbarkeit ausgelegt, S3 Infrequent Access auf 99,99 %
Versuchsaufbau und bestätigte Kosten
- Für das Experiment wurden für jeden Teil zwei neue AWS-Konten verwendet, um Kostenrauschen zu reduzieren
- In jedem Konto liefen zwei EC2-Instanzen in
us-east-1aundus-east-1b; auf der Instanz inus-east-1awurde eine zufällige 1-TB-Datei erzeugt - Zwei Ansätze wurden verglichen
- Beim ersten wurde in einer VPC mit privaten Subnetzen in beiden AZs auf der Instanz in
us-east-1bein netcat-Server gestartet, und die Instanz inus-east-1aübertrug die 1-TB-Datei direkt - Beim zweiten wurde in einer VPC mit S3 Gateway endpoint ein S3-Bucket erstellt; die Instanz in
us-east-1alud die 1-TB-Datei hoch, danach lud die Instanz inus-east-1bsie herunter und löschte sie
- Beim ersten wurde in einer VPC mit privaten Subnetzen in beiden AZs auf der Instanz in
- Das AWS Free Tier kann die Versuchsergebnisse leicht beeinflusst haben
- Das S3 Free Tier umfasst 12 Monate lang 5 GB-months
- 5 GB-months sind weniger als 1 TB-hours, aber der Unterschied ist nicht groß
- Nach der Aktualisierung von Cost Explorer ergab das Experiment mit direkter Übertragung 21,49 $, nahe den erwarteten 20 $
- Dass die Übertragung einmal unterbrochen und neu gestartet wurde, erklärt einen Teil der zusätzlichen Kosten
- Die erzeugte Datei hatte technisch 1024 GB, womit die Basiskosten 20,48 $ betragen
- Das S3-basierte Übertragungsexperiment wurde zunächst mit 0,08 $ ausgewiesen; Datenübertragungskosten erschienen nicht
- Später zeigte sich, dass S3-Speicherkosten bucketweise pro Tag ausgewiesen werden und später in Cost Explorer erscheinen als andere Kosten
- Wie erwartet lagen die ausgewiesenen Speicherkosten im Bereich weniger Cent
- Das S3-Speicher-Free-Tier wurde vollständig aufgebraucht
- Auf diese Möglichkeit wies Dieter Matzion aus der FinOps-Community hin
Wann sich das lohnt
- AWS repliziert S3-Daten intern zwischen Availability Zones; diese Kosten sind in den S3-Speicherkosten enthalten, die Nutzer zahlen
- Der Umweg über S3 nutzt den Umstand, dass Cross-AZ-Kosten zum Zeitpunkt des Uploads indirekt bereits bezahlt sind
- Werden Daten lange in S3 aufbewahrt, kann das deutlich teurer werden als eine direkte Cross-AZ-Übertragung
- Löscht man die Objekte direkt nach der Übertragung, ist die angestrebte Kostensenkung um 99 % möglich
- Die Nachteile sind ebenfalls klar
- Es ist kein Drop-in-Ersatz für bestehenden Datenübertragungscode
- Die Latenz kann deutlich höher sein als bei einer direkten Netzwerkverbindung
- Wenn Kosten oberste Priorität haben, kann dies ein praktischer Weg sein, um Cross-AZ-Datenübertragungskosten in AWS um über 99 % zu senken
1 Kommentare
Hacker-News-Kommentare
Mein Trick dazu: Man kann eine Lightsail-Instanz verwenden, um Daten anderer AWS-Ressourcen, etwa von EC2-Instanzen oder S3-Buckets, zu „proxyen“
Jede Lightsail-Instanz hat ein im Preis enthaltenes Datenübertragungsvolumen: Die $3.5-Instanz bietet 1 TB, $5 bietet 2 TB, $10 bietet 3 TB, $20 bietet 4 TB und $40 bietet 5 TB
Beim Preis pro übertragenem Volumen ist die 3-TB-Option der $10-Instanz am besten
Nach den Zahlen im Artikel kosten 3 TB Traffic von EC2 in us-east-1 $276.48, bei einem S3-Bucket $69
Der Nachteil ist, dass bei Lightsail sowohl eingehender als auch ausgehender Traffic als „Traffic“ gezählt wird
Laut AWS-Nutzungsbedingungen 51.3 darf man Amazon Lightsail nicht auf eine Weise verwenden, die Datengebühren anderer Services umgehen soll
Dazu zählt zum Beispiel, Network-Traffic anderer Services ins öffentliche Internet oder zu anderen Zielen zu proxyen oder über Load-Balancing-/CDN-Services übermäßig viele Daten zu verarbeiten; bei Verstößen kann der Datendienst eingeschränkt oder das Konto gesperrt werden
Als Origin kann man S3 oder einen beliebigen HTTP-Server angeben
Früher waren es 50 GB pro Monat für die ersten 12 Monate, aber direkt nachdem Cloudflare https://blog.cloudflare.com/aws-egregious-egress veröffentlicht hatte, wurde es auf dauerhaft kostenlose 1 TB geändert
GCP hat 2023 ein ähnliches Schlupfloch ebenfalls geschlossen, wahrscheinlich weil einige Kunden es ausgenutzt haben
Wenn sich diese Methode weit genug verbreitet, wird AWS wohl dasselbe tun
https://cloud.google.com/storage/pricing-announce#network
Das von GCP geschlossene „Schlupfloch“ bestand darin, dass Datenübertragung in GCS zwischen Regionen auf demselben Kontinent kostenlos war; bei AWS ist das bereits kostenpflichtig
Im Originalbeitrag geht es darum, dass sogar Übertragungen zwischen Availability Zones in derselben Region $0.02 pro GB kosten und sich das umgehen lässt
Ich frage mich, ob sich ein Käufer für diese Information finden ließe
Vielleicht aber nicht als Weiterleitungskanal; eher in dem Sinne, dass man Daten dort ablegt und liegen lässt
Von solchen Tricks, um Kosten zu senken und kostenlose Ressourcen mitzunehmen, gibt es sehr viele
Clever ist das schon, aber verlässlich nicht
Es ist dieselbe Art Hack wie Krypto-Mining über GitHub Actions mithilfe von OSS-Repositories
Als interessante Hacking-Übung ist das okay, aber solche Lösungen sollte man besser nicht in Produktion ausrollen
Mindestens sollte das vom Account-Manager abgesegnet sein, sonst wacht man womöglich eines Tages mit einem geschlossenen AWS-Konto auf
Der Weg über S3 ist auch generell effizienter, wenn man Daten an mehrere Ziele verteilt, als einen Synchronisationsprozess laufen zu lassen
S3-Speicherkosten werden pro GB-Monat berechnet; bei 1 TB × $0.023 pro GB ÷ 730 Stunden pro Monat sollten das für eine Stunde im Bucket ungefähr 3 Cent sein
Da es aber offenbar fast sofort wieder gelöscht wurde, könnte der Wert bei nur einer Minute eher bei 0.03 ÷ 60 liegen
Normalerweise würde man erwarten, dass AWS das auf $0.01 aufrundet
Ausschlaggebend ist am Ende der TimedByteStorage-Wert im Cost and Usage Report
https://handbook.vantage.sh/aws/services/s3-pricing/
S3 ist auch ein guter Trick, und es gibt noch mehr
Wenn man ein großer AWS-Kunde ist, zum Beispiel mit Ausgaben von über $1 Mio. pro Jahr, kann man um Rabatte bitten
Früher waren die Rabatte für Transfer zwischen Availability Zones sehr hoch
Eine weitere Möglichkeit ist, so viel wie möglich in einer Availability Zone zu bündeln
Eine Konfiguration, bei der die DB in Zone „b“ steht und der einzige Server in Zone „a“, ist sogar schlechter, als einfach alles auf eine Zone zu standardisieren
Wenn man mehrere Availability Zones nutzt, sollte man eine lastbewusste Verteilung zwischen den Zonen haben
Geht es um Kosten? Das scheint aber auch keine Kostenersparnis zu sein
Das fühlt sich an wie technische Steuervermeidung
Wenn das zu viele Leute machen, wird AWS „das Schlupfloch einfach schließen“
AWS ist nicht ein einziges AWS, sondern eher Dutzende oder Hunderte von AWSs, jeweils mit eigenen KPIs
Manche Teams wollen Ausgaben senken, sagen einem aber nicht, wie man sie tatsächlich senkt
Wenn man etwas so Komplexes wie AWS baut, ist am Ende alles miteinander verflochten, sodass Kunden unmöglich nur ein einzelnes Element optimieren können
AWS möchte, dass bestimmte Services auf bestimmte Weise genutzt werden, und macht sie deshalb in genau dieser Nutzung sehr günstig
Die Verwendung von S3-Endpoints ist ebenfalls eine Art, wie AWS die Nutzung des S3-Service vorgesehen hat
CloudFront ist ein weiteres Beispiel
AWS will, dass Leute CloudFront nutzen, deshalb ist CloudFront günstiger als anderer ausgehender Datentransfer
Eine Alternative zu komplexen Systemen zur Minimierung von Cloud-Kosten ist einfach, die Cloud nicht zu nutzen
Man kann selbst hosten oder Cloudflare nutzen, wo ausgehender Traffic pro GB 0 Cent kostet
Oder man mietet Cloud-Server bei deutlich günstigeren VPS-Hostern und nutzt keine teuren und komplexen Cloud-Dienste, die mit 9, 12 oder 17 Cent pro GB Geld absaugen und einen in Lock-in treiben
Ernsthaft: Wenn man an dem Punkt ist, Cloud-Kosten fein granular analysieren zu müssen, sollte man erwägen, die Cloud aufzugeben
Anderswo ist so eine Analyse selbst völlig unmöglich
Wer On-Premises empfiehlt, scheint nicht zu wissen, wie hoch die Personalkosten für Leute sind, die ein Rechenzentrum nicht wie ein Homelab behandeln
Selbst Apple iCloud nutzt AWS und GCP, weil es wirtschaftlich ist
Entweder kann man die Cloud nicht sinnvoll einsetzen und glaubt deshalb, zu On-Premises zurückzumüssen, oder man interessiert sich nicht besonders für Zuverlässigkeit
Rechne erst einmal die Kosten für DDoS-Abwehr jenseits von 10G durch und sag dann noch einmal, die Cloud sei teurer
Wir geben zwar über 100.000 Dollar für AWS-Bandbreite aus, aber es ist immer noch günstiger als dedizierte Internetleitungen, weil wir keine Netzwerkingenieure bezahlen müssen, die 3 Availability Zones verwalten
Viele Organisationen wechseln zum Cloud-basierten Hosting auch deshalb, weil sie unter vielen Vorteilen FinOps und Kostenkontrolle viel tiefer betreiben können
Je nach Infrastruktur kann eine Cloud-basierte Lösung gut passen, wenn Speicher- oder Compute-Bedarf schwankt
Am Ende ist es nur ein Werkzeug
Ich habe an Orten gearbeitet, an denen man sich per SSH auf Produktions-Bare-Metal-Server eingeloggt, Software aktualisiert, Firewalls verwaltet und Storage geprüft hat, und auch an Orten, an denen der Großteil des Hostings über Cloud-Provider lief, und ich habe auch Wechsel von der einen zur anderen Seite erlebt
„Cloud“ ist nicht grundsätzlich besser oder schlechter als Bare-Metal-Server oder VPS, sondern hängt vom Use Case ab
Man sollte prüfen, warum die eine oder andere Seite besser passt, und es neu bewerten, wenn sich die Rahmenbedingungen ändern
Diese Haltung von wegen „Cloud schlecht“ ist kindisch
Wenn man bereits in AWS feststeckt, kann der Ausstieg ziemlich teuer werden, und in manchen Fällen kann dieser Ansatz ein guter Mittelweg sein
Diese Kosten können die Einsparungen in vielen Fällen leicht aufzehren oder übersteigen
Das ist auch ein großer Grund dafür, warum sich so viele Unternehmen fast selbstverständlich für die Cloud entscheiden
AWS scheint in diesem Beispiel mit Verlust zu operieren
Der Autor hat offenbar eine Schwachstelle im AWS-Preismodell gefunden, deshalb ist es so billig
Selbst gemacht wäre es wahrscheinlich teurer gewesen
Warum AWS die Preise so gestaltet hat, lässt sich nur vermuten, aber wahrscheinlich soll damit die Nutzung eines Dienstes gegenüber einem anderen gefördert werden
Wer viel Bandbreite verbraucht, sollte sich Leaseweb, PhoenixNAP, Hetzner, OVH ansehen
Die Bandbreitenpreise sind absurd viel günstiger
Früher gab es einmal die merkwürdige Situation, dass AWS-Vertriebsleute den Bandbreitenpreis überhaupt nicht senken wollten, obwohl das Unternehmen zum Standardpreis nicht tragfähig gewesen wäre
Transferkosten scheinen meist verhandelbar zu sein
Ein weiterer Trick ist die Nutzung von ECR
Man kann pro Monat 5 TB kostenlos ins Internet übertragen
Die Container-Images müssen öffentlich sein, aber der Inhalt kann verschlüsselt werden
Das ist nützlich, wenn man Medienarchive in Glacier speichert
Ich verstehe nicht, wie AWS die Leute mit diesen absurden Datenübertragungsgebühren weiterhin so ausnehmen kann
Direkt daneben bietet Cloudflare R2 Konditionen, die um Größenordnungen besser sind
Man bleibt dort gebunden, wo die Daten liegen, und so wie es Geld kostet, der Schwerkraft zu entkommen, kostet es auch Geld, Daten zu bewegen
Wenn es bei R2 Probleme wie Datenverlust oder langsame Transfers gibt, bekomme ich die Schuld oder werde zumindest um Hilfe gebeten
Wenn S3 dagegen Daten verliert oder in bestimmten Fällen langsam ist, denken die Leute eher, dass wir etwas falsch verwenden, und finden einen Weg zur Verbesserung
Niemand bekommt die Schuld
Ehrlich gesagt sind die Datenübertragungsgebühren vernachlässigbar, wenn das Geschäft überhaupt irgendeinen Wert schafft, und man muss sie nicht unbedingt optimieren
Die Einsparungen sind auch wirklich groß
Wir verwenden einfach weiter das AWS-SDK (Node.js) und nur den R2-Endpunkt
Wenn die Daten in AWS liegen, können alle Anwendungen in derselben Region sie ohne Transferkosten nutzen
Außerdem sind die im Artikel genannten Preise Listenpreise; wenn Kunden Bandbreite per Vertrag im Voraus kaufen, wird es deutlich günstiger
Ich weiß nicht, wie gut Performance und Verfügbarkeit im echten Betrieb wirklich sind
Vor allem die Haltbarkeit ist schwer oder fast unmöglich zu beurteilen
S3 hat den Vorteil einer viel längeren Geschichte und eines viel besseren Track Records
Wenn ohnehin schon alles in AWS ist, hat es auch Vorteile, die Daten nahe dabeizubehalten
Je nachdem, wie die Daten genutzt werden, müssen Outbound-Kosten nicht immer so groß sein
Sobald man aber tatsächlich erheblichen Outbound-Traffic erzeugt, wird es absurd teuer
Wenn ein Wettbewerber wie R2 einigermaßen wettbewerbsfähige Zuverlässigkeit und Performance bieten kann, dürfte er Marktanteile gewinnen