إلى نماذج الوجه ثلاثية الأبعاد التوليدية الواقعية

في السنوات الأخيرة، شهدت نماذج توليد الوجه ثنائية الأبعاد تقدماً كبيراً بفضل التطبيقات مثل الرسوم المتحركة، وإنشاء البيانات الاصطناعية، والصوّر الافتراضية الرقمية. ومع ذلك، نظراً لعدم توفر معلومات ثلاثية الأبعاد، تواجه هذه النماذج ثنائية الأبعاد صعوبات كبيرة في فصل السمات الوجهية بدقة مثل الوضعية، والتعبير، والإضاءة، مما يحد من قدرتها على التحرير. ولحل هذه القيود، تقدم هذه الورقة نموذجاً توليدياً قابلاً للتحكم ثلاثياً الأبعاد لإنتاج صور عاكسة عالية الجودة (albedo) وشكل ثلاثي الأبعاد دقيق، مستندةً إلى النماذج ثنائية الأبعاد التوليدية الموجودة مسبقاً. من خلال دمج نماذج توليد الوجه ثنائية الأبعاد مع عمليات التلاعب بالمعنى الوجهية، يُمكّن هذا الأسلوب من تحرير الوجوه ثلاثية الأبعاد المُرسَمة بدقة. ويستخدم الإطار المقترح نهجاً لتحسين التناوب (alternating descent optimization) على الشكل والصورة العاكسة. ويُستخدم التصوير القابل للتفاضل (differentiable rendering) لتدريب أشكال عالية الجودة وصور عاكسة دون الحاجة إلى إشراف ثلاثي الأبعاد. علاوةً على ذلك، يتفوق هذا النهج على أحدث الطرق (SOTA) في معيار NoW المعروف لاسترجاع الشكل. كما يتفوق على النماذج الرائدة في استرجاع هوية الوجوه المُرسَمة في وضعيات جديدة بمتوسط 10%. بالإضافة إلى ذلك، تُظهر الورقة القدرة على التحكم المباشر في التعبيرات في الوجوه ثلاثية الأبعاد من خلال استغلال الفضاء المُخفي، مما يؤدي إلى تحرير الوجوه ثلاثية الأبعاد باستخدام النصوص.