R-CNN ثنائي التدفق متعدد المناطق للكشف عن الحركات

نُقدِّم نموذجًا متعدد المناطق ذات تدفقين للكشف عن الحركات في مقاطع الفيديو الواقعية. نبدأ من الكشف عن الحركات على مستوى الإطارات باستخدام نموذج Faster R-CNN [1]، ونُقدِّم ثلاث إسهامات رئيسية: (1) نُظهِر أن شبكة اقتراح مناطق الحركة تُولِّد اقتراحات عالية الجودة، وهي مكملة للاقتراحات الناتجة عن شبكة اقتراح مناطق المظهر؛ (2) نُظهِر أن تجميع تدفق البصريات (optical flow) عبر عدة إطارات يُحسِّن بشكل كبير الكشف عن الحركات على مستوى الإطارات؛ (3) نُدمج نموذجًا متعدد المناطق داخل نموذج Faster R-CNN، مما يضيف معلومات مكملة حول أجزاء الجسم. ثم نُربط كشفات المستويات الإطاراتية باستخدام خوارزمية فيتربي (Viterbi)، ونُحدد موقع الحركة زمنيًا باستخدام طريقة المصفوفة الفرعية القصوى (maximum subarray method). تُظهر النتائج التجريبية على مجموعات بيانات الكشف عن الحركات UCF-Sports وJ-HMDB وUCF101 أن نهجنا يتفوّق على أحدث الطرق المطروحة بفارق كبير من حيث مقياس frame-mAP وvideo-mAP.