- CLI für semantische Bildsuche lokal, ohne Drittanbieter-API
- Erstellt und durchsucht Bild-Embedding-Indizes auf Basis von
node-mlx, einem Machine-Learning-Framework für Node.js
- Unterstützte Plattformen
- GPU: Apple-Silicon-Macs
- CPU: x64-Macs, x64/arm64-Linux
- Mit
sisi index <target> wird ein Index für die Bilder in einem bestimmten Ordner erstellt
- Mit
sisi search 'cat jumping' werden Bilder gesucht, die einen bestimmten Inhalt enthalten
Funktionsweise
- Der Index berechnet Bild-Embeddings mit OpenAIs CLIP-Modell und speichert sie anschließend als binäres JSON
- Die Bildsuche berechnet die Kosinus-Ähnlichkeit zwischen dem Query-String und den indexierten Embeddings
- Es gibt keine Datenbank; bei jeder Suche werden Berechnungen für alle gespeicherten Embeddings durchgeführt. Selbst bei Zehntausenden Fotos ist es sehr schnell
- Für die JavaScript-Implementierung des CLIP-Modells wird frost-beta/clip verwendet
Noch keine Kommentare.