إعادة بناء الوجه ثلاثي الأبعاد ذاتيًا من منظور واحد باستخدام التوافق الهندسي متعدد المقاييس المُدرك للإغلاق

أظهرت النماذج القائمة على التعلم الحديثة، التي تُدرَّب باستخدام صور ذات منظور واحد، نتائج واعدة في إعادة بناء الوجه ثلاثي الأبعاد من منظور واحد، لكنها تعاني من مشكلة عدم التحديد (ill-posed) في زاوية محاذاة الوجه والغموض في تقدير العمق. على عكس الدراسات السابقة التي تفرض قيودًا فقط على الميزات ثنائية الأبعاد، نقترح معمارية تدريب ذاتي مدعوم بالاتساق الهندسي متعدد المناظر، والذي يوفر قيودًا موثوقة لتقدير زاوية محاذاة الوجه وتقدير العمق. نحن نقترح أولًا طريقة تركيب منظور مُستشعرة للإخفاء (occlusion-aware view synthesis) لتطبيق اتساق الهندسة متعددة المناظر في التدريب الذاتي. ثم نصمم ثلاث دوال خسارة جديدة للاتساق متعدد المناظر، تشمل: دالة الاتساق البكسلية، ودالة الاتساق في العمق، ودالة الاتساق الاستقطابي المستندة إلى نقاط الملامح الوجهية. تتميز طريقتنا بالدقة والثبات، خاصة في ظل التغيرات الكبيرة في التعبيرات، والزوايا، وظروف الإضاءة. وقد أظهرت التجارب الشاملة على معايير محاذاة الوجه وإعادة بناء الوجه ثلاثي الأبعاد تفوقها على الطرق الرائدة حاليًا. تم إصدار الشفرة البرمجية والنموذج على الرابط التالي: https://github.com/jiaxiangshang/MGCNet.