Was ist eine Vector Database?

• AI-Anwendungen sind auf Vector Embeddings angewiesen
  • Embeddings werden von AI-Modellen erzeugt und sind wegen der großen Anzahl an Attributen/Features schwer zu verwalten
  • In AI und ML repräsentieren diese Features verschiedene Dimensionen der Daten, die wesentlich sind, um Muster, Beziehungen und zugrunde liegende Strukturen zu verstehen
• Vector-DBs wie Pinecone sind spezialisierte Datenbanken, die diese Embedding-Daten optimiert speichern und abfragen
• Mit Vector-DBs lassen sich in AI fortgeschrittene Funktionen wie semantische Informationssuche oder Langzeitgedächtnis implementieren
  • Über ein Embedding-Modell werden Vector Embeddings für die zu indexierenden Inhalte erzeugt
  • Die Vector Embeddings werden in die Vector-DB eingefügt. Dabei werden Referenzen auf die Originalinhalte mitgespeichert, aus denen die Embeddings erzeugt wurden
  • Wenn die Anwendung eine Abfrage stellt, wird mit demselben Embedding-Modell ein Embedding für die Anfrage erzeugt, und mit diesem Embedding wird die Datenbank durchsucht, um ähnliche Vector Embeddings zu finden
  • Diese Embeddings sind mit den Originalinhalten verknüpft

Unterschied zwischen Vector Index und Vector DB

• Auch Vector-Indizes wie FAISS (Facebook AI Similarity Search) verbessern die Suche nach Vector Embeddings, besitzen aber nicht die Funktionen einer Datenbank
• Vector-DBs bieten verschiedene Vorteile
  • Datenmanagement-Funktionen: Einfügen, Löschen und Aktualisieren von Daten ist einfach
  • Speicherung und Filterung von Metadaten: Metadaten zu jedem Vektor können gespeichert werden
  • Skalierbarkeit: Unterstützung für verteilte und parallele Verarbeitung
  • Unterstützung für Echtzeit-Updates
  • Backup- und Collection-Funktionen (z. B. Backup nur ausgewählter Indizes)
  • Integration in Ökosysteme: Anbindung an ETL (Spark), Analyse-Tools (Tableau, Segment), Visualisierung (Grafana) usw. sowie an AI-Tools (LangChain, LlamaIndex, ChatGPT Plugins)
  • Datensicherheit und Verwaltung von Zugriffsrechten

Wie funktioniert eine Vector DB? (Nur die Unterüberschriften werden übernommen)

• Algorithmen: ANN, Random Projection, Product Quantization, Locality-sensitive hashing, Hierarchical Navigable Small World (HSNW)
• Ähnlichkeitsmessung
• Filterung
• Datenbankoperationen

Zusammenfassung

• Mit dem explosionsartigen Wachstum von Vector Embeddings in NLP, Computer Vision und anderen AI-Anwendungen sind Vector-Datenbanken entstanden
• Vector-Datenbanken wurden speziell entwickelt, um die Probleme zu lösen, die bei der Verwaltung von Vector Embeddings in Produktionsszenarien auftreten
• Gegenüber herkömmlichen skalarbasierten Datenbanken und eigenständigen Vector-Indizes bieten sie erhebliche Vorteile