Bildsuche mit Marqo, yolox, CLIP und OWL-ViT durch Lokalisierung und Open-Vocabulary-Reranking

Kurzfassung: Hier wird gezeigt, wie sich die Bildsuche mit Marqo, yolox, CLIP und OWL-ViT weiterentwickeln lässt, indem Lokalisierung und Reranking hinzugefügt werden. Das Hinzufügen einer zusätzlichen Dimension der Lokalisierung kann die Suchleistung verbessern, neue Anwendungsfälle für die Bildsuche ermöglichen und zugleich die Erklärbarkeit erhöhen. Das erneute Ranken mit einem Open-Vocabulary-Detektionsmodell ermöglicht eine feinere Lokalisierung. Der erste Teil des Artikels behandelt Hintergrundinformationen, der zweite Teil enthält lauffähigen Code (der auch hier zu finden ist).