
كنموذج إحصائي كلاسيكي للشكل والملمس ثلاثي الأبعاد للوجه، يعتبر نموذج الـ 3D Morphable Model (3DMM) مستخدماً على نطاق واسع في تحليل الوجه، مثل مطابقة النماذج وتركيب الصور. يتم تعلم النموذج التقليدي لـ 3DMM من مجموعة من صور الوجه ثنائية الأبعاد ذات التحكم الجيد مع المسح الضوئي ثلاثي الأبعاد المرتبط بها، ويتم تمثيله بواسطة مجموعتين من دوال الأساس PCA. بسبب نوعية وكمية بيانات التدريب بالإضافة إلى القواعد الخطية، يمكن أن تكون قوة تمثيل 3DMM محدودة. لمعالجة هذه المشكلات، يقترح هذا البحث إطاراً مبتكرًا لتعلم نموذج 3DMM غير خطي من مجموعة كبيرة من صور الوجه غير المحددة دون جمع المسح الضوئي ثلاثي الأبعاد للوجه. بشكل خاص، عند تقديم صورة وجه كمدخل، يقوم مشفر الشبكة بتقدير معلمات الإسقاط والشكل والملمس. تعمل مفككتان كنماذج 3DMM غير خطية لرسم الخريطة من معلمات الشكل والملمس إلى الشكل والملمس ثلاثي الأبعاد على التوالي. باستخدام معلمة الإسقاط، الشكل ثلاثي الأبعاد، والملمس، تم تصميم طبقة رسم جديدة قابلة للتفرقة تحليلياً لإعادة بناء وجه المدخل الأصلي. يمكن تدريب الشبكة بأكملها بطريقة نهاية إلى نهاية باستخدام إشراف ضعيف فقط. نوضح التفوق في قوة التمثيل لنموذجنا غير الخطي لـ 3DMM على نظيره الخطي ومساهمته في تنسيق الوجه وإعادة بناء الصورة ثلاثية الأبعاد.