Das Innere von YouTube-Videos per natürlicher Sprache durchsuchen

• Mit dem neuronalen Netzwerk CLIP von OpenAI nach bestimmten Szenen in Videos suchen

→ Bilder innerhalb des Videos durchsuchen, etwa nach "Road Works", "People crossing the street" oder "Fire truck"

Funktionsweise

1. YouTube-Video herunterladen

2. Einzelne Frames extrahieren

3. Alle Frames mit CLIP kodieren

4. Die Suchanfrage in natürlicher Sprache mit CLIP kodieren

5. Bestimmte Szenen per Suchanfrage in natürlicher Sprache finden

• Direkt als Notebook in Google Colab ausführbar

→ https://colab.research.google.com/github/haltakov/…

[xguru]

In den Kommentaren gibt es noch die Bildersuche von Unsplash desselben Entwicklers, ebenfalls mit CLIP umgesetzt; auch das dürfte sehr nützlich sein.

• https://github.com/haltakov/natural-language-image-search

• Google Colab: https://colab.research.google.com/github/haltakov/…

Es findet unter den 2 Millionen auf Unsplash hochgeladenen Fotos Bilder mit den gewünschten Inhalten.

• "Two dogs playing in the snow", "The word love written on the wall", "The feeling when your program finally works"