sqlite-vec - Erweiterung für Vektorsuche in SQLite

 (github.com/asg017)
13 Punkte von xguru 2024-08-05 | 1 Kommentare | Auf WhatsApp teilen
  • Sehr kleine und „schnell genug“ Vektorsuch-Erweiterung für SQLite
  • Speichern und Abfragen von Float-, Int8- und Binärvektoren in der virtuellen Tabelle vec0 möglich
  • In reinem C geschrieben, ohne Abhängigkeiten, und überall lauffähig, wo SQLite läuft: Linux/MacOS/Windows, Browser (WASM), Raspberry Pi usw.
  • Vorfilterung von Vektoren mit der Subquery rowid IN(...) möglich
  • Nachfolger von sqlite-vss

Verwandte Beiträge

1 Kommentare

 
xguru 2024-08-05

Es wurde bereits vor 3 Monaten ein Beitrag über die Entwicklung einer SQLite-Erweiterung für Vektorsuche veröffentlicht, und jetzt wurde sie endlich veröffentlicht.

Hacker-News-Meinungen

  • sqlite-vec funktioniert auf macOS, Linux, Windows, Raspberry Pis, in WASM-Browsern und auf Mobilgeräten

    • Es ist eine sehr schnelle Brute-Force-Lösung für Vektorsuche
    • Als experimentelle Funktion können Vektoren im Arbeitsspeicher direkt abgefragt werden
    • Die Leistung ist konkurrenzfähig mit faiss, usearch und duckdb

  • Im Blogpost von Alex gibt es weitere Details

  • Ich habe es in einem Videospiel verwendet, und es war großartig

  • Ich habe nach etwas Ähnlichem gesucht. Nützlich für Empfehlungs-Engines, Musik-Matching und Perceptual-Hash-Matching

  • Ich habe etwas Ähnliches mit duckDB als Backend umgesetzt

  • Ich mag dieses Projekt sehr

    • Es muss viel Aufwand gekostet haben, die Abhängigkeitsprobleme zu lösen
    • Ich würde es gern in meinem eigenen Projekt ausprobieren

  • Ich habe einen Anwendungsfall für diese Funktion

    • Vielen Dank an AlexG für die viele Arbeit
    • Die Dokumentation ist ebenfalls sehr gut

  • Verwandter Link: https://news.ycombinator.com/item?id=40243168

  • Ich arbeite derzeit ein RAG-Tutorial mit postgreSQL und pgvector durch

  • Diese Funktion scheint nützlich zu sein. Ich mache auf meinem Laptop viel einmalige Textanalyse