محاذاة الوجه في نطاق الوضعية الكامل: حل ثلاثي الأبعاد شامل

المحاذاة الوجهية، وهي عملية مطابقة نموذج للوجه في صورة واستخراج المعاني الدلالية لبكسلات الوجه، كانت موضوعًا مهمًا في مجتمع رؤية الحاسوب. ومع ذلك، فإن معظم الخوارزميات تم تصميمها للوجوه في وضعيات صغيرة إلى متوسطة (زاوية الانحراف الأفقي أقل من 45 درجة)، مما يفتقر إلى القدرة على محاذاة الوجوه في وضعيات كبيرة تصل إلى 90 درجة. تتضمن التحديات ثلاثة جوانب. أولاً، النموذج الشائع للمعالم الوجهية يفترض أن جميع المعالم مرئية وبالتالي ليس مناسبًا للوضعيات الكبيرة. ثانيًا، تختلف مظهر الوجه بشكل أكبر بكثير عبر الوضعيات الكبيرة، من المنظر الأمامي إلى المنظر الجانبي. ثالثًا، وضع علامات على المعالم في الوضعيات الكبيرة أمر شديد الصعوبة حيث يجب تخمين المعالم غير المرئية. في هذا البحث، نقترح معالجة هذه التحديات الثلاثة في إطار جديد للمحاذاة الكثيفة ثلاثية الأبعاد (3D Dense Face Alignment - 3DDFA)، حيث يتم مطابقة نموذج كثيف ثلاثي الأبعاد قابل للتغيير (3D Morphable Model - 3DMM) مع الصورة عبر شبكات العصب المتكررة المتدرجة (Cascaded Convolutional Neural Networks). كما نستفيد من المعلومات ثلاثية الأبعاد لتركيب صور للوجوه في المناظر الجانبية لتوفير عينات وفيرة للتدريب. أظهرت التجارب على قاعدة بيانات AFLW الصعبة أن النهج المقترح حقق تحسينات كبيرة على طرق الحالة الفنية المعاصرة (state-of-the-art methods).