شبكات المقاطع الزمنية: نحو أفضل الممارسات للاعتراف العميق بالحركة

حققت الشبكات العصبية التلافيفية العميقة نجاحًا كبيرًا في مجال التعرف على الصور الثابتة. ومع ذلك، فإن الامتياز على الطرق التقليدية في مجال التعرف على الحركات في الفيديو ليس واضحًا بنفس الدرجة. تهدف هذه الورقة البحثية إلى اكتشاف المبادئ التي يمكن من خلالها تصميم هياكل شبكات التلافيف (ConvNet) فعالة للتعرف على الحركات في الفيديو وتعلم هذه النماذج مع وجود عينات تدريب محدودة.إسهامنا الأول هو شبكة المقاطع الزمنية (Temporal Segment Network - TSN)، وهي إطار عمل جديد للتعرف على الحركات في الفيديو، يعتمد على فكرة نمذجة البنية الزمنية طويلة المدى. تجمع هذه الشبكة بين استراتيجية العينة الزمنية النادرة والإشراف على مستوى الفيديو لتمكين التعلم الكفء والفعال باستخدام الفيديو الكامل للحركة. الإسهام الثاني يتمثل في دراستنا لمجموعة من أفضل الممارسات في تعلم شبكات التلافيف (ConvNets) على بيانات الفيديو بمساعدة شبكة المقاطع الزمنية.تُحقق طريقتنا أداءً رائدًا في مجموعات البيانات HMDB51 (69.4%) وUCF101 (94.2%). كما قمنا أيضًا برسم خرائط النماذج التي تم تعلمها من شبكات التلافيف، مما يثبت بشكل كمي فعالية شبكة المقاطع الزمنية والممارسات الجيدة المقترحة.