بحث في هندسة ConvNet لتعلم الميزات المكانية والزمانية

تثبت الدراسات أن تعلم تمثيلات الصور باستخدام شبكات الـ ConvNets من خلال التدريب المسبق على ImageNet قد كان مفيدًا في العديد من مهام فهم الرؤية البصرية، مثل الكشف عن الأشياء والتقسيم الدلالي وإضافة العناوين للصور. رغم أنه يمكن تطبيق أي تمثيل صوري على الإطارات الفيديوية، إلا أن تمثيلًا زماني-مكاني مخصص لا يزال ضروريًا لدمج أنماط الحركة التي لا يمكن للنماذج القائمة على المظهر وحدها التقاطها. يقدم هذا البحث بحثًا تجريبيًا عن هندسة شبكات الـ ConvNet للتعلم الزماني-المكاني، مما ينتهي به إلى شبكة اتصالات متبقية ثلاثية الأبعاد (3D Residual ConvNet) عميقة. يتفوق التصميم المقترح بشكل كبير على C3D في مجموعات البيانات Sports-1M وUCF101 وHMDB51 وTHUMOS14 وASLAN، بينما يكون أسرع بمقدار مرتين عند وقت الاستدلال وأصغر حجمًا بمقدار مرتين في نموذج الشبكة ويتمتع بتمثيل أكثر كفاءة.