HiFace: استعادة الوجه ثلاثية الأبعاد عالية الدقة من خلال تعلم التفاصيل الثابتة والديناميكية

تُظهر نماذج الشكل ثلاثية الأبعاد القابلة للتشكيل (3DMMs) إمكانات كبيرة في إعادة بناء أسطح الوجه ثلاثية الأبعاد الواقعية والقابلة للتحريك من صورة واحدة. ويتأثر سطح الوجه بالشكل الأولي، فضلًا عن التفاصيل الثابتة (مثل المظهر المميز للشخص) والتفاصيل الديناميكية (مثل التجاعيد الناتجة عن التعبيرات). ويعاني العمل السابق من صعوبة فصل التفاصيل الثابتة والديناميكية باستخدام الإشراف على مستوى الصورة، مما يؤدي إلى إعادة بناء غير واقعية. في هذا البحث، نهدف إلى تحقيق إعادة بناء ثلاثية الأبعاد للوجه بدقة عالية، ونُقدّم HiFace التي تُنمذج التفاصيل الثابتة والديناميكية بشكل صريح. بشكل خاص، تُنمذج التفاصيل الثابتة كمزيج خطي لأساس الانزياح، بينما تُنمذج التفاصيل الديناميكية كانزياح خطي بين خريطةَي انزياح، مع تعبيرات مُتمايزة قطبيًا. ونستفيد من عدة دوال خسارة لتعلم مشترك للشكل الأولي والتفاصيل الدقيقة باستخدام كلاً من مجموعات بيانات اصطناعية وواقعية، مما يمكّن HiFace من إعادة بناء أشكال ثلاثية الأبعاد عالية الدقة مع تفاصيل قابلة للتحريك. وتشير التجارب الكمية والكيفية الواسعة إلى أن HiFace تُقدّم جودة إعادة بناء من الطراز الرائد، وتعيد استرجاع التفاصيل الثابتة والديناميكية بدقة عالية. يمكن العثور على صفحة المشروع على الرابط: https://project-hiface.github.io.