CoTracker: 함께 추적하는 것이 더 낫다

우리는 긴 영상 시퀀스에서 수많은 2D 점을 추적할 수 있는 트랜스포머 기반 모델인 CoTracker를 소개한다. 기존 대부분의 접근 방식이 점들을 독립적으로 추적하는 반면, CoTracker는 점들 간의 의존성을 고려하여 함께 추적한다. 우리는 공동 추적 방식이 추적 정확도와 강건성을 크게 향상시키며, 가려진 점이나 카메라 시야 외부의 점까지 추적할 수 있음을 보여준다. 또한, 이와 같은 추적기 클래스를 위한 몇 가지 혁신적인 기술을 제안한다. 특히 토큰 프록시(token proxies)를 도입하여 메모리 효율성을 크게 향상시켰으며, 이로 인해 단일 GPU에서 추론 시 7만 개의 점을 동시에 공동으로 추적할 수 있게 되었다. CoTracker는 짧은 윈도우에 대해 인과적으로 작동하는 온라인 알고리즘이지만, 학습 과정에서는 전개된 윈도우를 활용해 순환 신경망처럼 동작하여 점들이 가려지거나 시야에서 벗어나도 오랜 기간 동안 추적을 유지할 수 있다. 정량적 평가 결과, CoTracker는 표준 2D 점 추적 벤치마크에서 기존 추적기들을 상당히 능가한다.