- Erster Cloud-Objektspeicher mit nativer Vektorunterstützung im großen Maßstab
- Kann die Kosten für Speicherung, Upload und Abfragen von Vektordaten um bis zu 90 % senken und bietet Abfrageleistung im Subsekundenbereich
- Führt die Konzepte Vector Buckets und Vector Indexes ein, um Speicherung und Suche großer Vektordatenmengen für generative KI-Workloads wie AI-Embeddings und RAG zu optimieren
- Integriert sich mit AWS-Services wie Amazon Bedrock, SageMaker und OpenSearch und ermöglicht kosten- und leistungsoptimiertes Vektormanagement sowie Echtzeitsuche
- Unterstützt ohne Infrastrukturaufbau vielfältige Nutzungsszenarien wie Speichern, Verwalten, Abfragen, Exportieren und Integrieren von Vektordaten über Konsole, CLI, SDK und API
Was ist Amazon S3 Vectors?
- Amazon S3 Vectors ist ein neuer dedizierter S3-Speicher zum Ablegen großer Vektordatensätze und für schnelle Vektorsuche (semantic/similarity search)
- Entwickelt für die effiziente Verwaltung von Vektor- bzw. Embedding-Daten, die in generativer KI häufig verwendet werden
- Bietet einen neuen S3-Bucket-Typ namens Vector Bucket; in jedem Vector Bucket können bis zu 10.000 Vector Indexes erstellt werden, und pro Index lassen sich mehrere zehn Millionen Vektoren speichern
- Unterstützt die Zuweisung von Metadaten (key-value) pro Vektor und ermöglicht Filterabfragen nach Bedingungen
Kosten-/Leistungsoptimierung und Automatisierungsfunktionen
- Kann die Kosten für Upload, Speicherung und Abfragen von Vektordaten um bis zu 90 % senken
- Auch bei wachsendem Datenvolumen optimiert S3 Vectors automatisch, um Kosten und Leistung kontinuierlich aufrechtzuerhalten
- Bietet die Distanzmetriken Cosine/Euclidean und damit eine flexible Suchumgebung, die mit AI-Embedding-Modellen kompatibel ist
Integration mit AWS-Services und KI-Infrastruktur
- Native Integration mit Amazon Bedrock Knowledge Bases, direkt nutzbar in SageMaker Unified Studio
- In Verbindung mit OpenSearch Service können langfristige bzw. selten abgefragte Daten in S3 gespeichert und häufig genutzte bzw. Echtzeit-Suchen nach OpenSearch ausgelagert werden (serverless Vector Collection)
- Geeignet für verschiedenste KI-Anwendungen wie Empfehlungssysteme, RAG, Dokumentenanalyse und personalisierte Empfehlungen
Wichtige Nutzungsmöglichkeiten
Erstellen von Vector Buckets und Indexes
- In der Konsole einen Vector Bucket über das Menü Vector buckets erstellen
- Beim Erstellen des Buckets können Verschlüsselungsoptionen angegeben werden (SSE-S3, SSE-KMS)
- Jedem Bucket lassen sich Vector Indexes hinzufügen; pro Index können Dimensionszahl und Distanzmetrik festgelegt werden
Einfügen und Abfragen von Vektordaten
- Vektoren mit AWS CLI, SDK und REST API einfügen und verwalten
- Text-Embeddings in Amazon Bedrock erzeugen → Vektoren in S3 Vectors einfügen
- Beispiel: Nach dem Erzeugen eines Embeddings mit
boto3 Daten mit der API s3vectors.put_vectors in einen Index hochladen
- Mithilfe von Metadaten sind Abfragen nach Bedingungen wie Genre oder Kategorie möglich
OpenSearch-Integration und Export
- Über Export to OpenSearch in der Konsole einen S3-Vector-Index nach OpenSearch migrieren
- Erstellt automatisch eine serverlose Collection und skaliert für Echtzeit-Vektorsuche und Analyse-Workloads
Zentrale Eigenschaften und unterstützte Umgebungen
- Für S3-Vector-Buckets ist Verschlüsselung standardmäßig aktiviert (SSE-S3), zusätzlich wird eine KMS-Option unterstützt
- CLI/SDK/REST API für automatisierte bzw. programmatische Nutzung
- Derzeit unterstützte Preview-Regionen: USA Ost/West, Europa (Frankfurt), Asien (Sydney)
Integrations- und Nutzungsszenarien
- Unterstützt vielfältige branchenübergreifende Einsatzfälle für Vektoren wie RAG, Agent Memory, Ähnlichkeits-/semantische Suche, intelligente Dokumentenanalyse, personalisierte Empfehlungen und automatische Inhaltsanalyse
- Durch die Integration in das AWS-Ökosystem mit OpenSearch, SageMaker und Bedrock lassen sich kosteneffiziente und im großen Maßstab skalierbare Vektor-basierte KI-Lösungen aufbauen
Referenzen und weitere Materialien
Noch keine Kommentare.