إعادة بناء الوجه ثلاثي الأبعاد ذاتيًا من خلال التقدير الشرطي

نقدّم إطارًا للتقدير الشرطي (CEST) لاستخلاص 매ارامترات الوجه ثلاثية الأبعاد من صور ثنائية الأبعاد ذات منظور واحد من خلال التدريب ذاتي التوجيه من مقاطع فيديو. يعتمد CEST على عملية التحليل بالتركيب، حيث يتم تقدير معلمات الوجه ثلاثية الأبعاد (الشكل، والانعكاس، والمنظور، والإضاءة) من صورة الوجه، ثم إعادة تجميعها لإعادة بناء صورة الوجه ثنائية الأبعاد. ولتمكين التعلم من معلمات ثلاثية الأبعاد ذات معنى معنويًا دون الوصول الصريح إلى تسمياتها، يربط CEST تقدير المعلمات المختلفة ثلاثية الأبعاد من خلال أخذ الاعتمادية الإحصائية بينها بعين الاعتبار. وبشكل خاص، لا يُشترط أن يكون تقدير أي معلمة ثلاثية الأبعاد مبنيًا فقط على الصورة المعطاة، بل أيضًا على المعلمات الوجهية التي تم استخلاصها سابقًا. علاوةً على ذلك، تُستخدم تناظر الانعكاس والاتساق بين إطارات الفيديو لتحسين فصل المعلمات الوجهية. وبالإضافة إلى استراتيجية جديدة لدمج تناظر الانعكاس والاتساق، يمكن تدريب CEST بكفاءة باستخدام مقاطع فيديو من البيئة الطبيعية (in-the-wild). وأظهرت التجارب النوعية والكمية فعالية CEST.