الانتباه التكيفي العميق للكشف المشترك عن وحدات الإجراءات الوجهية ومحاذاة الوجه

اكتشاف وحدات الحركة الوجهية (AU) ومحاذاة الوجه هما مهمتان مترابطتان بشكل كبير، حيث يمكن أن توفر معالم الوجه مواقع دقيقة لوحدات الحركة لتسهيل استخراج الخصائص المحلية ذات المعنى لأجل اكتشاف الوحدات. ومع ذلك، فإن معظم الأعمال الحالية في مجال اكتشاف الوحدات غالبًا ما تتعامل مع محاذاة الوجه كعملية تمهيدية وتتعامل مع المهمتين بشكل مستقل. في هذا البحث، نقترح إطارًا جديدًا للتعلم العميق من النهاية إلى النهاية للكشف المشترك عن وحدات الحركة والمحاذاة الوجهية، وهو ما لم يتم استكشافه سابقًا. بصفة خاصة، يتم أولاً تعلم الخصائص المشتركة متعددة المقاييس، ويتم إدخال الخصائص عالية المستوى لمحاذاة الوجه في عملية اكتشاف وحدات الحركة. بالإضافة إلى ذلك، لاستخراج الخصائص المحلية الدقيقة، نقترح وحدة تعلم انتباه متكيفة لتحسين خريطة الانتباه لكل وحدة حركة بشكل متكيف. وأخيرًا، يتم دمج الخصائص المحلية المجمعة مع خصائص محاذاة الوجه والخصائص العالمية لاكتشاف وحدات الحركة. وقد أظهرت التجارب على مقاييس BP4D وDISFA أن الإطار المقترح يتفوق بشكل كبير على أفضل الأساليب الحالية لاكتشاف وحدات الحركة.