CoTracker : Il est préférable de suivre ensemble

Nous présentons CoTracker, un modèle basé sur les transformateurs capable de suivre un grand nombre de points 2D dans des séquences vidéo longues. Contrairement à la plupart des approches existantes qui suivent les points indépendamment, CoTracker les suit de manière conjointe, en tenant compte de leurs dépendances mutuelles. Nous démontrons que ce suivi conjoint améliore significativement la précision et la robustesse du suivi, et permet à CoTracker de suivre des points occlus ou situés en dehors du champ de vue de la caméra. Nous introduisons également plusieurs innovations pour ce type de suiveurs, notamment l’utilisation de proxies de tokens, qui améliorent considérablement l’efficacité mémoire et permettent à CoTracker de suivre jusqu’à 70 000 points de manière conjointe et simultanée en phase d’inférence sur une seule GPU. CoTracker est un algorithme en ligne fonctionnant de manière causale sur des fenêtres courtes. Toutefois, il est entraîné en utilisant des fenêtres déroulées comme un réseau récurrent, ce qui lui permet de maintenir les trajectoires sur de longues périodes, même lorsque les points sont occlus ou sortent du champ de vision. De manière quantitative, CoTracker surpasse de manière significative les méthodes antérieures sur les benchmarks standards de suivi de points.