Meta AI stellt CoTracker vor, ein Modell zur Verfolgung aller Punkte (Pixel) in Videos

• Meta AI hat CoTracker vorgestellt, ein neues Modell zur Verfolgung von Punkten (Pixeln) in Videos
• CoTracker zielt darauf ab, mehrere Punkte über ein gesamtes Video hinweg zu verfolgen, wobei die Zusammenhänge zwischen den Punkten berücksichtigt werden
• Die Architektur basiert auf Ideen aus der Literatur zu Optical Flow und Tracking und verwendet ein Transformer-Netzwerk mit spezialisierten Attention-Layern
• Durch die Verwendung eines Sliding-Window-Ansatzes kann es auf lange Videos angewendet werden und hat sich im Vergleich zu anderen Methoden zur Punktverfolgung als effizient und hochpräzise erwiesen
• Das Modell erzeugt insbesondere auch bei Verdeckungen sauberere und linearere Tracks
• CoTracker zeigt bei der Genauigkeit eine bessere Leistung als andere Arbeiten wie TAPIR und Multi-Flow Tracking
• Es stellt Softwareentwicklern ein neues leistungsstarkes Werkzeug zur Verfolgung von Punkten in Videos bereit und ist ein wichtiger Fortschritt zur Verbesserung von Leistung und Genauigkeit

[kuroneko]

Die Demo ist irgendwie hübsch. Wenn man bedenkt, was in VR gebraucht wird, scheint es vielleicht auch eine gewisse geschäftliche Übereinstimmung zu geben ...

[GN⁺]

Hacker News-Kommentare

• Der Business-Aspekt von Metas Forschungsabteilung ist nicht klar, und die Verbindung zum Kerngeschäft ist schwer nachzuvollziehen.
• Die Erfahrung von Facebook mit Tracking-Pixeln scheint zum Erfolg von Metas CoTracker-Modell beizutragen.
• Metas Ziel scheint darin zu bestehen, VR unglaublich realistisch zu machen und KI-Systeme zu entwickeln, die die Welt in Echtzeit verstehen können.
• Es werden Links zum CoTracker-Paper, zu GitHub und zu einer Demo bereitgestellt.
• Google hat mit Tapir eine eigene Version für Point-Tracking, die unter der Apache-2.0-Lizenz steht.
• Der Forschungsprozess in einem Produktunternehmen unterscheidet sich von dem in einem stärker Engineering-getriebenen Unternehmen.
• Der Vergleich zwischen CoTracker und den Motion-Estimation-Algorithmen von Video-Codecs wirft Fragen auf.
• Open-Source-KI-Modelle wie CoTracker könnten für Startups zu einem stark umkämpften Markt mit niedrigen Margen führen.
• Andrew Zisserman, Hartley und Poggio werden als einflussreiche Persönlichkeiten erwähnt.
• CoTracker könnte künftig Anwendungen im AR-Bereich haben.

[xguru]

Der Business-Bezug von Metas Forschungsabteilung ist nicht klar, und die Beziehung zum Kerngeschäft ist schwer nachzuvollziehen.

Das ist wohl der Kernkommentar. Forschung ist gut, aber in vielen Punkten ist nicht ganz nachvollziehbar, wie sie mit dem Business aligned ist.
Irgendwie fühlt es sich auch ein bisschen so an, als würde man das frühere Google sehen..