محاذاة الوجه في وضعيات كبيرة: حل ثلاثي الأبعاد

محاذاة الوجه، وهي عملية مطابقة نموذج للوجه في صورة واستخراج المعاني الدلالية لبكسلات الوجه، كانت موضوعًا مهمًا في مجتمع معالجة الصور (CV). ومع ذلك، فإن معظم الخوارزميات مصممة للأوجه في وضعيات صغيرة إلى متوسطة (أقل من 45 درجة)، مما يفتقر إلى القدرة على محاذاة الأوجه في وضعيات كبيرة تصل إلى 90 درجة. تتكون التحديات من ثلاثة أجزاء: أولاً، النموذج القائم على العلامات المرجعية المستخدم بشكل شائع يفترض أن جميع العلامات مرئية وبالتالي لا يكون مناسبًا للآراء الجانبية. ثانيًا، تختلف مظهر الوجه بشكل كبير عبر وضعيات كبيرة، بدءًا من الرؤية الأمامية وصولاً إلى الرؤية الجانبية. ثالثًا، تصنيف العلامات المرجعية في وضعيات كبيرة أمر بالغ الصعوبة حيث يجب تخمين العلامات غير المرئية. في هذا البحث، نقترح حلًا لهذه المشكلات الثلاثة ضمن إطار جديد للمحاذاة الكثيفة ثلاثية الأبعاد (3D Dense Face Alignment - 3DDFA)، حيث يتم مطابقة نموذج كثيف ثلاثي الأبعاد للصورة عبر شبكة عصبية تقنية التعلم العميق (Convolutional Neural Network - CNN). كما نقترح طريقة لإنشاء عينات تدريبية على نطاق واسع في الآراء الجانبية لحل مشكلة تصنيف البيانات الثالثة. أظهرت التجارب على قاعدة بيانات AFLW الصعبة أن نهجنا حقق تحسينات كبيرة مقارنة بالطرق الأكثر تقدمًا حاليًا.