متحول النسخة المحلية النادرة للتمايز الدقيق للوجه وتعلم العلاقات الطبيعية بين نقاط المعلمات

طغت طرق الانحدار الخريطة الحرارية (Heatmap Regression) على مجال محاذاة الوجه في السنوات الأخيرة، مع أنها تتجاهل العلاقة الطبيعية بين المعالم المختلفة. في هذا البحث، نقترح استخدام محول القطعة المحلية النحيف (Sparse Local Patch Transformer - SLPT) لتعلم هذه العلاقة الطبيعية. يقوم المحول SLPT بإنشاء تمثيل لكل معلم منفرد من قطعة محلية ويجمعها باستخدام علاقة طبيعية متكيفة تعتمد على آلية الانتباه (Attention Mechanism). يتم التنبؤ بإحداثيات البكسل الفرعي لكل معلم بشكل مستقل بناءً على الميزة المجمعة. بالإضافة إلى ذلك، تم تقديم إطار عمل خشن إلى دقيق لدمجه مع المحول SLPT، مما يمكّن المعالم الأولية من التقارب تدريجيًا نحو المعالم الهدف للوجه باستخدام ميزات دقيقة من القطع المحلية التي يتم تغيير حجمها ديناميكيًا. أجريت تجارب واسعة النطاق على ثلاثة مقاييس شائعة، بما في ذلك WFLW و 300W و COFW، والتي أظهرت أن الطريقة المقترحة تعمل بمستوى متقدم جداً (State-of-the-Art) وبتعقيد حسابي أقل بكثير عن طريق تعلم العلاقة الطبيعية بين معالم الوجه. يمكن الحصول على الكود من موقع المشروع.