تعلم نموذج ثلاثي الأبعاد مفصل وقابل للتحريك من صور في البرية

بينما يمكن للطرق الحالية لإعادة بناء الوجه ثلاثي الأبعاد باستخدام الكاميرا أحادية العدسة استعادة التفاصيل الهندسية الدقيقة، فإنها تعاني من عدة قيود. بعض هذه الطرق تنتج وجوهًا لا يمكن تحريكها بشكل واقعي لأنها لا تُنمذِج كيفية تغير التجاعيد مع التعبيرات. طرق أخرى تم تدريبها على مسحات وجه عالية الجودة ولا تعمم بشكل جيد على الصور الطبيعية. نقدم أول نهج يُعيد بناء شكل الوجه ثلاثي الأبعاد والتفاصيل القابلة للتحريك التي تكون خاصة بالفرد ولكن تتغير مع التعبير. نموذجنا، DECA ( Detailed Expression Capture and Animation) (إعادة بناء التعبيرات والتفاصيل الدقيقة)، تم تدريبه على إنتاج خريطة نقل UV بثبات من تمثيل ضمني منخفض البعد يتكون من معلمات تفاصيل خاصة بالشخص ومعلمات تعبير عامة، بينما تم تدريب مُنبئ على التنبؤ بمعلمات التفاصيل، الشكل، اللون، التعبير، وضعية الرأس والإضاءة من صورة واحدة. لتمكين هذا النهج، قدمنا خسارة جديدة للاستقرار على التفاصيل (detail-consistency loss) تنفصل فيها التفاصيل الخاصة بالشخص عن التجاعيد المرتبطة بالتعبير. هذا الانفصال يسمح لنا بإعادة إنتاج التجاعيد الواقعية الخاصة بالشخص عن طريق السيطرة على معلمات التعبير مع الحفاظ على ثبات التفاصيل الخاصة بالشخص. يتم تعلم DECA من صور طبيعية دون أي إشراف ثلاثي الأبعاد مزوج، ويحقق دقة إعادة بناء الشكل الأعلى في فئتها على مقعدين للمعايرة. النتائج النوعية على البيانات الطبيعية تُظهر متانة DECA وقدرتها على الفصل بين التفاصيل المرتبطة بالهوية والتفاصيل المرتبطة بالتعبير، مما يمكّن من تحريك الوجوه المُعاد بناؤها. النموذج والشفرة البرمجية متاحان للجمهور في https://deca.is.tue.mpg.de.