التعلم الذاتي المشترك المهام للتوافق الزمني

تُقترح في هذه الورقة تعلُّم تطابق كثيف موثوق من الفيديوهات بطريقة ذاتية التدريب (self-supervised). يدمج عملية التعلُّم لدينا مهامين مترابطين بشكل وثيق: تتبع مناطق صورة كبيرة، وتكوين ارتباطات دقيقة على مستوى البكسل بين الإطارات المتتالية في الفيديو. نستغل التآزر بين هاتين المهمتين من خلال مصفوفة ترابط مشتركة بين الإطارات (shared inter-frame affinity matrix)، التي تُنمذج في آنٍ واحد الانتقالات بين إطارات الفيديو على كل من المستويين: مستوى المنطقة ومستوى البكسل. فبينما يساعد التحديد على مستوى المنطقة في تقليل الغموض في التطابق الدقيق من خلال تضييق نطاق البحث؛ فإن التطابق الدقيق يوفر ميزات من الأسفل إلى الأعلى لتسهيل التحديد على مستوى المنطقة. تتفوّق طريقتنا على أحدث الطرق المدربة ذاتيًا في مجموعة متنوعة من مهام التطابق البصري، بما في ذلك انتقال التجزئة الخاصة بالكائنات والجزئيات في الفيديو، وتتبع النقاط المميزة، وتتبع الكائنات. بل تفوق طريقة التدريب الذاتي لدينا حتى تمثيل الميزات المرتبطة بالارتباط (affinity feature representation) المُدرَّب بشكل كامل، الذي تم الحصول عليه من نموذج ResNet-18 مُدرَّب مسبقًا على مجموعة بيانات ImageNet.