إعادة بناء الوجه ثلاثي الأبعاد من صورة واحدة مساعدة بصور الوجوه ثنائية الأبعاد في البيئة الطبيعية

إعادة بناء الوجه ثلاثي الأبعاد من صورة ثنائية الأبعاد واحدة هو مشكلة صعبة ذات تطبيقات واسعة. تهدف الأساليب الحديثة عادةً إلى تعلم نموذج وجه ثلاثي الأبعاد يعتمد على الشبكات العصبية التلافيفية (CNN) والذي يقوم بتقدير معاملات نموذج الوجه القابل للتغيير ثلاثي الأبعاد (3DMM) من الصور ثنائية الأبعاد لإعادة بناء الوجه ثلاثي الأبعاد أو تحقيق محاذاة كثيفة للوجه. ومع ذلك، فإن قلة البيانات التدريبية المصحوبة بAnnotations ثلاثية الأبعاد تحد بشكل كبير من أداء هذه الأساليب. لحل هذه المشكلة، نقترح طريقة جديدة للتعلم الذاتي المدعوم بالبيانات ثنائية الأبعاد (2DASL) والتي يمكنها استخدام الصور ثنائية الأبعاد "في البرية" التي تحتوي على معلومات نقاط مرجعية ضوضائوية لتحسين تعلم نموذج الوجه ثلاثي الأبعاد بشكل كبير. تحديداً، باستخدام النقاط المرجعية النادرة للوجه ثنائي الأبعاد كمعلومات إضافية، تقوم 2DSAL بتقديم أربع خطط جديدة للرقابة الذاتية تعتبر تقدير النقاط المرجعية ثنائية وثلاثية الأبعاد عملية خرائط ذاتية، بما في ذلك: اتساق تقدير النقاط المرجعية ثنائية وثلاثية الأبعاد، والاتساق الدوري فوق تقدير النقاط المرجعية الثنائية، والرقابة الذاتية على معاملات 3DMM المتوقعة بناءً على تقديرات النقاط المرجعية. باستخدام هذه الخطط الأربع للرقابة الذاتية، تخفف الطريقة 2DASL بشكل كبير من الحاجة إلى Annotations الثنائية إلى الثلاثية التقليدية المترابطة وتقدم نماذج وجه ثلاثي أبعاد عالية الجودة دون الحاجة إلى أي بيانات Annotations إضافية ثلاثية الأبعاد. أظهرت التجارب على عدة مجموعات بيانات صعبة أن طريقتنا تتفوق بشكل كبير على أفضل الأساليب الحالية في كل من إعادة بناء الوجه ثلاثي الأبعاد والمحاذاة الكثيفة للوجه.