إعادة بناء الوجه القائمة على النموذج المتينة من خلال تقسيم التباينات المدعومة ضعيفًا

في هذا العمل، نهدف إلى تحسين إعادة بناء الوجه القائمة على النموذج من خلال تجنب مواءمة النموذج مع القيم الشاذة، أي المناطق التي لا يمكن التعبير عنها بشكل جيد بواسطة النموذج، مثل العوائق أو المكياج. التحدي الأساسي في تحديد مواقع القيم الشاذة يكمن في تغيرها الكبير وصعوبة تسميتها يدويًا. لتجاوز هذه المشكلة الصعبة، نقدم نهجًا متكاملًا يُسمى "FOCUS"، وهو نموذج متكامل يجمع بين مُشفّر الوجه (Face-autoencoder) وشبكة تصنيف القيم الشاذة. وبشكل خاص، نستغل حقيقة أن القيم الشاذة لا يمكن مواءمتها جيدًا بواسطة نموذج الوجه، وبالتالي يمكن تحديدها بدقة مع وجود مواءمة نموذجية عالية الجودة. التحدي الرئيسي يتمثل في الترابط المتبادل بين مواءمة النموذج وتصنيف القيم الشاذة، حيث يتعين استنتاج كليهما معًا في آن واحد. ونحل هذه المشكلة "الدجاجة والبيضة" باستخدام استراتيجية تدريب من نوع EM، حيث يتم تدريب مُشفّر الوجه وشبكة تصنيف القيم الشاذة معًا. يؤدي هذا إلى تأثير تكاملي، حيث يمنع شبكة التصنيف مُشفّر الوجه من التكيف مع القيم الشاذة، مما يعزز جودة إعادة البناء. في المقابل، يُمكّن إعادة البناء ثلاثية الأبعاد المحسّنة شبكة التصنيف من التنبؤ بالقيم الشاذة بشكل أفضل. ولحل الغموض بين القيم الشاذة والمناطق التي يصعب مواءمتها، مثل الحواجب، نبني قبلًا إحصائيًا من بيانات مُصطنعة يقيس التحيّز النظامي في مواءمة النموذج. تُظهر التجارب على مجموعة اختبار NoW أن FOCUS تحقق أفضل أداء (SOTA) في إعادة بناء الوجه ثلاثي الأبعاد مقارنةً بجميع الطرق الأساسية التي تم تدريبها دون تسمية ثلاثية الأبعاد. علاوةً على ذلك، تُظهر نتائجنا على مجموعة CelebA-HQ وقاعدة بيانات AR أن شبكة التصنيف قادرة على تحديد العوائق بدقة، رغم عدم تدريبها بأي تسميات تفصيلية.