تعلم نموذج شكل الوجه والتعبير من خلال المسح 4D

يوجد فجوة كبيرة في مجال نمذجة الوجه الثلاثية الأبعاد بين الأساليب المتقدمة والأساليب الأساسية. في الطرف المتقدم، تُعد أفضل أنواع حركة الوجه غير قابلة للتمييز عن البشر الحقيقيين، لكن هذا يُقدّم بثمن كبير من العمل اليدوي المكثف. أما في الطرف الأساسي، فإن التقاط الوجه من أجهزة الاستشعار العميقة المستخدمة في المستهلكين يعتمد على نماذج وجه ثلاثية الأبعاد ليست تعبيرية بما يكفي لالتقاط التنوّع في الشكل الطبيعي للوجه والتعبيرات. نسعى إلى إيجاد توازن وسط من خلال تعلّم نموذج وجه من آلاف المسحات ثلاثية الأبعاد المُحاذاة بدقة. يُصمم نموذجنا FLAME (الوجه المُتعلّم باستخدام نموذج متحرك وتعبيرات) ليكون متوافقًا مع البرامج الرسومية الحالية، وسهل التكيّف مع البيانات. يستخدم FLAME فضاء شكل خطي تم تدريبه على مسحات 3800 رأس إنسان. ويُدمج هذا الفضاء الخطي للشكل مع مفاصل متحركة للذقن والرقبة والعينين، وتشكيلات مصححة تعتمد على الوضعية، بالإضافة إلى تشكيلات إضافية للتعبيرات العالمية. وتُتعلم المفاصل التي تعتمد على الوضعية والتعبير من تسلسلات وجه ثلاثية الأبعاد زمنية (4D) في مجموعة بيانات D3DFACS، إلى جانب تسلسلات 4D إضافية. وقد قمنا بتسجيل دقيق لشبكة نموذجية مع تسلسلات المسح، ونُشرت تسجيلات D3DFACS متاحة لأغراض البحث. في المجمل، تم تدريب النموذج على أكثر من 33,000 مسح. يتميّز FLAME بحجم منخفض لكنه أكثر تعبيرًا من نموذج FaceWarehouse ونموذج Basel Face Model. وقمنا بمقارنة FLAME مع هذين النموذجين من خلال تكييفهم مع مسحات ثلاثية الأبعاد ثابتة وتسلسلات 4D باستخدام نفس طريقة التحسين. وقد أظهر FLAME دقة أعلى بشكل ملحوظ، وهو متاح الآن لأغراض البحث.