Zusammenfassung eines Computer-Vision-Systems zur Identifikation von Basketballspielern

🏀 Zusammenfassung eines Computer-Vision-Systems zur Identifikation von Basketballspielern

Dieser Blogbeitrag beschreibt ausführlich den Aufbau eines komplexen Systems, das mithilfe von Computer-Vision-Technologien Spieler in Basketball-Spielvideos erkennt, verfolgt und identifiziert. Das System kombiniert mehrere moderne KI-Modelle in Form einer Pipeline, um schwierige Probleme wie schnelle Spielerbewegungen, Verdeckungen durch Körperkontakt (Occlusion), ähnliche Trikots und Kamerabewegungen zu lösen.

---

Zentrale Techniken und Pipeline

Das System identifiziert Spieler über einen mehrstufigen, ausgefeilten Prozess.

1. Objekterkennung (Object Detection):

   • Mit dem Modell RF-DETR werden die Positionen wichtiger Objekte im Video präzise erkannt, darunter Spieler, Rückennummern, Basketball und Korb.

2. Spielerverfolgung (Player Tracking):

   • Mit SAM2 (Segment Anything Model 2) werden die Spieler in jedem Frame verfolgt. Dank der internen Speicherfunktion von SAM2 kann das System auch dann erkennen, dass es sich weiterhin um denselben Spieler handelt, wenn er kurzzeitig von anderen Spielern oder Objekten verdeckt wird, und das Tracking entsprechend aufrechterhalten.

3. Team-Zuordnung (Team Clustering):

   • Zur Unterscheidung der beiden Teams anhand der Trikotfarben wird ein Clustering-Ansatz mit unüberwachtem Lernen verwendet.
   • Das SigLIP-Modell wandelt die visuellen Merkmale jedes Spielers in Embedding-Vektoren um.
   • Mit UMAP werden die hochdimensionalen Embedding-Daten auf eine niedrigere Dimension reduziert.
   • Anschließend wird der K-means-Clustering-Algorithmus angewendet, um die Spieler in zwei Gruppen (Teams) einzuteilen.

4. Spieleridentifikation (Player Identification):

   • Für die endgültige Identifikation der Spieler werden die Rückennummern erkannt.
   • Anfangs wurde SmolVLM für OCR (optische Zeichenerkennung) verwendet, doch ein für die Klassifikation von Rückennummern feinabgestimmtes ResNet-Modell zeigte eine höhere Genauigkeit und wurde daher final übernommen.
   • Mit der Kennzahl IoS (Intersection over Smaller Area) wird sichergestellt, dass eine erkannte Rückennummer präzise der korrekten Spielermaske zugeordnet wird.
   • Um die Zuverlässigkeit des Systems zu erhöhen, wird eine Nummer nur dann als Rückennummer eines Spielers bestätigt, wenn dieselbe Vorhersage mehrfach wiederholt auftritt.

---

Fazit und Quellcode

Dieses System ist ein gelungenes Beispiel dafür, wie sich mehrere hochmoderne Computer-Vision-Modelle kreativ integrieren lassen, um ein komplexes reales Problem der Sportanalyse zu lösen. Aufgrund der Komplexität des Verarbeitungsprozesses arbeitet es jedoch nicht in Echtzeit.

• Quellcode: Der vollständige Code des Projekts ist im untenstehenden GitHub-Repository verfügbar.
  • https://github.com/roboflow/basketball-player-identification

[shakespeares]

Der Link zum Quellcode lässt sich nicht einfügen.