التعلم الدوري المتسق زمنيًا

نقدم طريقة تعلم تمثيل ذاتي تعتمد على مهمة التوافق الزمني بين الفيديوهات. تدرب هذه الطريقة شبكة باستخدام التوافق الدوري الزمني (TCC)، وهو خسارة توافق دوري قابلة للتفاضل يمكن استخدامها لاكتشاف التقابلات عبر الزمن في عدة فيديوهات. يمكن استخدام المتجهات الناتجة لكل إطار لتوافق الفيديوهات عن طريق مطابقة الإطارات باستخدام أقرب الجيران في المساحة المتجهة المُتعلمة.لتقييم قوة هذه المتجهات، نقوم بوضع علامات كثيفة على مجموعتي بيانات الفيديو Pouring و Penn Action لمراحل الحركة. نظهر أن (i) المتجهات المُتعلمة تمكن من تصنيف مراحل الحركة بأقل عدد من العينات، مما يقلل بشكل كبير من متطلبات التدريب الإشرافي؛ و (ii) أن TCC مكمل لطرق أخرى للتعلم الذاتي بدون إشراف في الفيديوهات، مثل Shuffle and Learn و Time-Contrastive Networks. يتم أيضًا استخدام هذه المتجهات في العديد من التطبيقات التي تعتمد على التوافق الكثيف الزمني بين أزواج الفيديوهات، بما في ذلك نقل البيانات الوصفية للمودالت المتزامنة بين الفيديوهات (الأصوات، العلامات الدلالية الزمنية)، تشغيل متزامن لعدة فيديوهات، وكشف الأخطاء الشاذة. صفحة المشروع: https://sites.google.com/view/temporal-cycle-consistency .