اكتشاف وحدات الإجراءات الوجهية الديناميكية متعددة الآراء

نقترح نهجًا جديدًا باستخدام الشبكات العصبية التلافيفية لمعالجة مشكلة التعرف الدقيق على وحدات الحركة الوجهية الديناميكية متعددة الزوايا. نستفيد من الإنجازات الحديثة في مجال التعرف على الأشياء على نطاق واسع من خلال صياغة مهمة توقع وجود أو عدم وجود وحدة حركة محددة في صورة ثابتة للوجه البشري كتصنيف شامل. ثم نستكشف فضاء تصميم نهجنا بأخذ كل من التمثيلات المشتركة والمستقلة لوحدات الحركة المنفصلة بعين الاعتبار، بالإضافة إلى هياكل شبكات CNN مختلفة لدمج المعلومات اللونية والحركة. بعد ذلك، ننتقل إلى الإعداد الجديد لتحدي FERA 2017، حيث نقترح امتدادًا متعدد الزوايا لنهجنا يعمل أولاً بتوقع الزاوية التي تم التقاط الفيديو منها، ثم تقييم مجموعة من كاشفات وحدات الحركة التي تم تدريبها لتلك الزاوية المحددة. نهجنا شامل وكفء ومودولي، حيث يمكن إدراج وحدات حركة جديدة بسهولة في النظام العام. يتفوق نهجنا بشكل كبير على الأساس المرجعي لتحدي FERA 2017، بمعدل تحسن مطلق قدره 14% على مؤشر F1. علاوة على ذلك، فإنه يقارن بشكل ملائم مع الفائز في تحدي FERA 2017. الرمز المصدر متاح على https://github.com/BCV-Uniandes/AUNets.