دراسة واسعة النطاق حول تعلم التمثيل المكاني الزمني بدون إشراف

نقدم دراسة واسعة النطاق حول تعلم التمثيلات المكانية الزمنية بدون إشراف من الفيديوهات. من خلال نظرة موحدة على أربعة إطار عمل حديثة تعتمد على الصور، ندرس هدفًا بسيطًا يمكن أن يعمم بسهولة جميع هذه الطرق إلى الفضاء والزمن. يشجع هدفنا على ظهور خصائص ثابتة زمنيًا في نفس الفيديو، وبالرغم من بساطته، فإنه يعمل بشكل مدهش عبر: (i) الإطارات العمل غير المشرف عليها المختلفة، (ii) مجموعات البيانات الأولية، (iii) مجموعات البيانات اللاحقة، و (iv) هياكل العمود الفقري. نستخلص سلسلة من الملاحظات المثيرة للاهتمام من هذه الدراسة، مثل اكتشافنا أن تشجيع الثبات على فترات زمنية طويلة يمكن أن يكون فعالاً حتى لو كانت الفترة الزمنية 60 ثانية. بالإضافة إلى النتائج الرائدة في العديد من المقاييس، نبلغ عن حالات واعدة قليلة فيها يمكن للتدريب الأولي بدون إشراف أن يتفوق على نظيره المشرف عليه. تم توفير الكود في https://github.com/facebookresearch/SlowFast