رقص مع التدفق: كشف الحركة الثنائية في التيار الواحد

هدف هذه الورقة هو اكتشاف نطاق المكان والزمان لحركة معينة. الشبكة الكشف الثنائية المستندة إلى الصور RGB والتدفق توفر دقة متميزة على حساب حجم نموذج كبير وحسابات ثقيلة. نقترح دمج الصور RGB والتدفق البصري في شبكة ثنائية موحدة باستخدام طبقات جديدة. تقوم طبقة شرط الحركة باستخراج المعلومات الحركية من صور التدفق، والتي يتم استخدامها بواسطة طبقة تعديل الحركة لتوليد معلمات تحويل لتعديل الخصائص الأولية للصور RGB. يمكن تضمين هذا الأسلوب بسهولة في شبكات الكشف عن الحركة القائمة على المظهر أو الشبكات الثنائية الموجودة، ويتم تدريبه بشكل شامل. تظهر التجارب أن استخدام شرط الحركة لتعديل خصائص الصور RGB يحسن دقة الاكتشاف. وباستخدام نصف الحسابات والمعلمات فقط من أفضل الأساليب الثنائية المتاحة حاليًا، لا تزال شبكتنا الثنائية الموحدة تحقق نتائج مثيرة للإعجاب على مجموعات بيانات UCF101-24 وUCFSports وJ-HMDB.