GANFIT: تناسب شبكة التعلم المعاكسة الجينيراتيفية لإعادة بناء الوجه ثلاثي الأبعاد بدقة عالية

في السنوات القليلة الماضية، تم إنجاز الكثير من العمل بهدف إعادة بناء الهيكل الوجهي ثلاثي الأبعاد من صور فردية عن طريق الاستفادة من قوة الشبكات العصبية التلافيفية العميقة (DCNNs). في الأعمال الأكثر حداثة، تم استخدام مُرسِّمات قابلة للمفاضلة لتعلم العلاقة بين خصائص هوية الوجه والمعلمات لنموذج قابل للتشوه ثلاثي الأبعاد (3DMM) للشكل والملمس. تتعلق خصائص الملمس إما بعناصر فضاء ملمس خطي أو يتم تعلمها مباشرة بواسطة الترميزات الذاتية من صور حقيقية. في جميع الحالات، لا تزال جودة إعادة بناء الملمس الوجهي لأساليب الطليعة غير قادرة على نمذجة الملمس بدقة عالية. في هذا البحث، نتبنى نهجًا مختلفًا تمامًا ونستفيد من قوة شبكات المواجهة التوليدية (GANs) والشبكات العصبية التلافيفية العميقة لإعادة بناء الملمس والشكل الوجهي من صور فردية. أي أننا نستخدم شبكات GANs لتدريب مولد قوي جدًا للملمس الوجهي في فضاء UV. ثم، نعيد النظر في أساليب تناسب النماذج القابلة للتشوه ثلاثية الأبعاد الأصلية باستخدام التحسين غير الخطي لإيجاد المعلمات الكامنة المثلى التي تعيد بناء الصورة الاختبار بأفضل طريقة ولكن من وجهة نظر جديدة. نقوم بتحسين المعلمات تحت إشراف خصائص الهوية العميقة المسبقاً تدريبها عبر إطار عملنا القابل للمفاضلة بشكل كامل. نظهر نتائج ممتازة في إعادة بناء الوجه ثلاثي الأبعاد بصرياً وحافظاً على الهوية، ونحقق لأول مرة، حسب علمنا، إعادة بناء ملمس الوجه مع تفاصيل ذات تردد عالٍ.