الاستدلال على نقاط الوجه من خلال الانحدار الخطي لخريطة الحرارة على مستوى البكسل

أحدثت النماذج القائمة على التعلم العميق باستخدام الانحدار الحراري (heatmap regression) ثورة في مهمة تحديد نقاط الوجه، حيث تعمل النماذج الحالية بشكل موثوق تحت ظروف متعددة مثل الزوايا الكبيرة، والإضاءة غير الموحدة والظلال، والانسدادات (الإغلاق الجزئي للوجه)، والانسداد الذاتي، وانخفاض دقة الصورة والضبابية. ومع ذلك، وعلى الرغم من انتشارها الواسع، تُعاني منهجيات الانحدار الحراري من أخطاء ناتجة عن التقطيع (discretization-induced errors) المتعلقة بعمليتي الترميز (encoding) والفك (decoding) للحراري. في هذه الدراسة، نُظهر أن هذه الأخطاء تؤثر سلبيًا بشكل مفاجئ وملحوظ على دقة تطابق الوجه. ولتقليل هذه المشكلة، نقترح منهجية جديدة لعمليتي الترميز والفك باستخدام التوزيع المستمر الكامن وراء البيانات. وللاستفادة الكاملة من آلية الترميز والفك المقترحة حديثًا، نُقدّم أيضًا طريقة تدريب قائمة على نموذج سياميز (Siamese-based training) تُفرض تجانس الخرائط الحرارية عبر مختلف التحولات الهندسية للصورة. تُحقّق منهجيتنا مكاسب ملحوظة عبر عدة مجموعات بيانات، وتحدد نتيجة جديدة لحالة الفن (state-of-the-art) في تحديد نقاط الوجه. سيتم نشر الشفرة البرمجية مع النماذج المُدرّبة مسبقًا على الرابط: https://www.adrianbulat.com/face-alignment