CoTracker: Es ist besser, gemeinsam zu verfolgen

Wir stellen CoTracker vor, ein auf Transformers basierendes Modell, das eine große Anzahl von 2D-Punkten in langen Videosequenzen verfolgt. Im Gegensatz zu den meisten bestehenden Ansätzen, die Punkte unabhängig voneinander verfolgen, verfolgt CoTracker sie gemeinsam und berücksichtigt dabei deren Abhängigkeiten. Wir zeigen, dass die gemeinsame Verfolgung die Genauigkeit und Robustheit erheblich verbessert und CoTracker die Verfolgung occludierter Punkte sowie Punkte jenseits des Kamerablickfelds ermöglicht. Zudem führen wir mehrere Innovationen für diese Klasse von Verfolgungsalgorithmen ein, darunter die Verwendung von Token-Proxies, die die Speichereffizienz erheblich steigern und es CoTracker ermöglichen, gleichzeitig und gemeinsam bis zu 70.000 Punkte auf einer einzigen GPU während der Inferenz zu verfolgen. CoTracker ist ein Online-Algorithmus, der kausal auf kurzen Zeitfenstern operiert. Dennoch wird er durch unrollte Fenster wie ein rekurrentes Netzwerk trainiert, wodurch die Verfolgung über lange Zeiträume hinweg aufrechterhalten wird, selbst wenn Punkte occluded sind oder das Sichtfeld verlassen. Quantitativ übertrifft CoTracker bestehende Verfolgungsalgorithmen erheblich auf etablierten Benchmark-Datenmengen für die Punktverfolgung.