Amazon S3 Files gestartet – S3-Buckets wie ein Dateisystem zugänglich machen

• Amazon S3 Files ist eine Funktion, mit der sich S3-Buckets direkt als Hochleistungs-Dateisystem mounten lassen, sodass sie von EC2, ECS, EKS, Lambda und weiteren Diensten unmittelbar genutzt werden können
• Erhält die Haltbarkeit und Kosteneffizienz von Objektspeicher und bietet zugleich interaktiven Dateizugriff und geringe Latenz (~1 ms)
• Unterstützt das NFS-v4.1+-Protokoll und bietet übliche Dateioperationen wie Erstellen, Ändern und Löschen sowie automatische Synchronisierung
• Stärkt Sicherheit und Zugriffskontrolle durch IAM-Integration, TLS-1.3-Verschlüsselung und POSIX-Berechtigungen; Monitoring ist mit CloudWatch und CloudTrail möglich
• Schafft die Grundlage dafür, bei AI-, ML- und Datenverarbeitungs-Workloads Datensilos zu beseitigen und S3 als zentrales Daten-Hub zu nutzen

---

Einführung in Amazon S3 Files

• Amazon S3 Files ist eine neue Funktion, mit der AWS-Compute-Ressourcen direkt auf Amazon-S3-Buckets wie auf ein Hochleistungs-Dateisystem zugreifen können
• Sie verringert die Trennung zwischen Objektspeicher und Dateisystemen und bietet bei gleichzeitigem Erhalt von Haltbarkeit und Kosteneffizienz von S3 einen interaktiven Dateizugriff
• Mehrere Compute-Ressourcen können dieselben Daten ohne Duplikate gemeinsam nutzen; Änderungen werden automatisch mit dem S3-Bucket synchronisiert
• Unterstützt Latenzen im Bereich von ~1 ms sowie das NFS-v4.1+-Protokoll
• S3-Daten sind in verschiedenen AWS-Services wie EC2, ECS, EKS und Lambda nativ als Dateisystem zugänglich

Hauptfunktionen und Arbeitsweise

• Das Dateisystem stellt S3-Objekte als Datei- und Verzeichnisstruktur dar und unterstützt übliche Dateioperationen wie Erstellen, Lesen, Ändern und Löschen
• Häufig genutzte Dateien werden in Hochleistungsspeicher gecacht und mit niedriger Latenz bereitgestellt; große Dateien für sequenzielle Lesevorgänge werden direkt aus S3 gestreamt
• Die Funktion Byte-Range-Read überträgt nur die angeforderten Bereiche und reduziert so Datenbewegung und Kosten
• Intelligentes Prefetching sagt Zugriffsmuster voraus und optimiert die Leistung
• Es lässt sich wählen, ob die gesamte Datei oder nur Metadaten geladen werden sollen, was eine feingranulare Cache-Steuerung ermöglicht

Interne Architektur und Leistung

• Basiert intern auf Amazon Elastic File System (EFS) und bietet für aktive Daten eine Latenz von etwa 1 ms
• Unterstützt gleichzeitigen Zugriff von mehreren Compute-Ressourcen und hält das NFS-Close-to-Open-Konsistenzmodell ein
• Geeignet für dateibasierte gemeinsame Workloads wie Zusammenarbeit von AI-Agenten, ML-Training-Pipelines und Datenverarbeitungs-Workloads

Beispiel für die Nutzung auf EC2

• Nach Vorbereitung einer EC2-Instanz und eines normalen S3-Buckets lassen sich per Konsole oder CLI ein S3-Dateisystem erstellen und Mount-Targets konfigurieren
• Auf EC2 ist das Mounten mit den folgenden Befehlen möglich
  • sudo mkdir /home/ec2-user/s3files
  • sudo mount -t s3files fs-0aa860d05df9afdfe:/ /home/ec2-user/s3files
• Danach lassen sich S3-Daten im Verzeichnis ~/s3files direkt mit Standard-Dateibefehlen bearbeiten
• Dateianpassungen werden innerhalb weniger Minuten automatisch in den S3-Bucket übernommen; Änderungen am Bucket werden innerhalb weniger Sekunden im Dateisystem sichtbar

Sicherheit und Verwaltung

• Integriert sich mit AWS Identity and Access Management (IAM) und ermöglicht Zugriffskontrolle auf Datei- und Objektebene
• Daten werden während der Übertragung mit TLS 1.3 verschlüsselt und im Ruhezustand mit SSE-S3 oder AWS-KMS-Schlüsseln verschlüsselt
• Nutzt das POSIX-Berechtigungsmodell für zugriffsbasierte Steuerung über UID/GID
• Amazon CloudWatch dient zur Überwachung von Leistung und Aktualisierungen, AWS CloudTrail zur Protokollierung von Verwaltungsereignissen
• Auf EC2-Instanzen muss das aktuelle Paket amazon-efs-utils installiert sein (in AWS-AMI standardmäßig enthalten)
• Auch in ECS, EKS, Fargate und Lambda lassen sich S3-Buckets auf dieselbe Weise als Dateisystem mounten

Leitfaden zur Service-Auswahl

• S3 Files eignet sich für Workloads, die auf in S3 gespeicherte Daten über eine interaktive, gemeinsam genutzte Dateisystem-Schnittstelle zugreifen müssen
  • Beispiele: Produktionsanwendungen, Python-basierte AI-Agenten, ML-Training-Pipelines
• Amazon FSx eignet sich für Migrationen aus On-Premises-NAS-Umgebungen oder wenn spezielle Dateisystemfunktionen benötigt werden
  • FSx for Lustre: Hochleistungsspeicher für HPC- und GPU-Cluster
  • FSx for NetApp ONTAP / OpenZFS / Windows File Server: Einsatz bei Anforderungen an bestimmte Dateisystem-Kompatibilität

Preise und verfügbare Regionen

• S3 Files ist ab sofort in allen kommerziellen AWS-Regionen verfügbar
• Abgerechnet werden die folgenden Posten
  • Datenvolumen, das im Dateisystem gespeichert ist
  • Lesevorgänge bei kleinen Dateien und alle Schreiboperationen
  • S3-Anfragen, die bei der Synchronisierung zwischen Dateisystem und S3-Bucket entstehen
• Detaillierte Preise finden sich auf der Amazon-S3-Preisseite

Nutzen

• S3 Files trägt dazu bei, Datensilos zu beseitigen, die Komplexität der Synchronisierung zu senken und manuelle Datenbewegungen zwischen Objekten und Dateien zu eliminieren
• In AI-, ML- und Data-Engineering-Workloads, die dateisystembasierte Tools oder Skripte verwenden, lassen sich S3-Daten direkt nutzen
• Unternehmen können alle Daten zentral in S3 konsolidieren und es als zentrales Hub nutzen, auf das alle AWS-Compute-Ressourcen direkt zugreifen können