CoTracker：一緒に追跡するほうが効果的である

本稿では、長時間の動画シーケンスにおいて多数の2D点を追跡するTransformerベースのモデル「CoTracker」を紹介する。既存の多くの手法が点を独立して追跡するのに対し、CoTrackerは点間の依存関係を考慮して、それらを一括して同時に追跡する。我々は、一括追跡が追跡精度と耐障害性を著しく向上させ、視界外や遮蔽された点の追跡を可能にすることを示した。また、本分野の追跡器に向けた複数の革新を提案する。特に、メモリ効率を大幅に向上させるトークンプロキシの導入により、単一のGPU上で推論時に7万点を同時に一括追跡することが可能となった。CoTrackerは、短い時間窓上で因果的に動作するオンラインアルゴリズムであるが、訓練段階では展開された時間窓を用いた再帰的ネットワークとして学習され、点が遮蔽されたり視界外に出た場合でも長期間にわたって追跡を維持できる。定量的な評価において、CoTrackerは標準的な点追跡ベンチマークにおいて従来の追跡器を大きく上回っている。