تعلم تقدير شكل الوجه ثلاثي الأبعاد والتعبير عنه من صورة دون إشراف ثلاثي الأبعاد

تقدير شكل الوجه ثلاثي الأبعاد من صورة واحدة يجب أن يكون مقاومًا للاختلافات في الإضاءة، وضعية الرأس، التعبيرات، الشعر، المكياج، والغطاء. يتطلب هذا القوة الاستدلالية مجموعة تدريب كبيرة من الصور الطبيعية، والتي تكون بالضرورة خالية من البيانات الحقيقية لشكل ثلاثي الأبعاد. للتدريب على شبكة بدون أي إشراف ثنائي إلى ثلاثي الأبعاد، نقدم RingNet، وهي شبكة تتعلم حساب شكل الوجه ثلاثي الأبعاد من صورة واحدة. الملاحظة الأساسية لدينا هي أن شكل وجه الفرد ثابت عبر الصور بغض النظر عن التعبيرات، وضعيات الرأس، والإضاءة وما إلى ذلك. تستفيد RingNet من عدة صور للشخص وخصائص الوجه ثنائية الأبعاد التي تم اكتشافها تلقائيًا. تستخدم خسارة جديدة تشجع على أن يكون شكل الوجه متشابهًا عندما تكون الهوية متطابقة ومختلفًا بين أشخاص مختلفين. نحقق الثبات في التعبيرات من خلال تمثيل الوجه باستخدام نموذج FLAME (النموذج المرن للوجه والتعبير). بمجرد التدريب، يأخذ طريquetنا صورة واحدة ويخرج معلمات النموذج FLAME التي يمكن تحريكها بسهولة. بالإضافة إلى ذلك، قمنا بإنشاء قاعدة بيانات جديدة للوجوه "غير تمامًا طبيعية" (Not Quite In-the-Wild - NoW) تتضمن ماسحات رأس ثلاثية الأبعاد وصور عالية الدقة للموضوعات في ظروف متنوعة وواسعة. نقيم الأساليب المتاحة علنًا ونجدها أن RingNet أكثر دقة من الأساليب التي تستخدم الإشراف الثلاثي الأبعاد. متاح مجموعة البيانات والنماذج والنتائج للأغراض البحثية على الرابط http://ringnet.is.tuebingen.mpg.de.