كوتراكر: من الأفضل تتبعًا معًا

نُقدِّم نموذج CoTracker، وهو نموذج يعتمد على المحولات (transformer) ويُعدِّل متابعة عدد كبير من النقاط ثنائية الأبعاد في تسلسلات فيديو طويلة. على عكس معظم الطرق الحالية التي تُتابع النقاط بشكل منفصل، يُتابع CoTracker هذه النقاط بشكل مشترك، مع أخذ الاعتماديات بينها بعين الاعتبار. ونُظهر أن المتابعة المشتركة تُحسِّن بشكل ملحوظ دقة المتابعة وثباتها، وتمكّن CoTracker من متابعة النقاط التي تكون مُحجبَة أو خارج مجال رؤية الكاميرا. كما نُقدِّم عدة ابتكارات لهذا النوع من المتابعين، منها استخدام "المرجعيات الرمزية" (token proxies) التي تُحسِّن بشكل كبير كفاءة الذاكرة، وتسمح لـ CoTracker بمتابعة 70 ألف نقطة بشكل مشترك ومتزامن في وقت واحد على وحدة معالجة واحدة (GPU) واحدة. يُعد CoTracker خوارزمية مباشرة (online) تعمل بأسلوب سببي على نوافذ قصيرة، لكنه يُدرَّب باستخدام نوافذ مُفكَّكة (unrolled windows) كشبكة تكرارية (recurrent network)، مما يسمح له بالحفاظ على تتبع النقاط لفترات طويلة، حتى عند اختفاءها أو مغادرتها مجال الرؤية. من الناحية الكمية، يتفوّق CoTracker بشكل كبير على المتابعين السابقين في المعايير القياسية لمتابعة النقاط.