نحو توجيه الوجه الكثيف ثلاثي الأبعاد بسرعة ودقة واستقرار

الطرق الحالية لمحاذاة الوجه الكثيفة ثلاثية الأبعاد تركز بشكل أساسي على الدقة، مما يحد من نطاق تطبيقاتها العملية. في هذا البحث، نقترح إطارًا جديدًا للانحدار يُسمى 3DDFA-V2، والذي يحقق التوازن بين السرعة والدقة والاستقرار. أولاً، على أساس هيكل خفيف الوزن (lightweight backbone)، نقترح استراتيجية تحسين مفصل متعدد (meta-joint optimization) لتراجع مجموعة صغيرة من معلمات النموذج الثلاثي الأبعاد للمظهر البشري (3DMM) بطريقة ديناميكية، مما يعزز السرعة والدقة في آنٍ واحد. لتحسين الاستقرار بشكل أكبر في مقاطع الفيديو، نقدم طريقة تركيب افتراضي لتحويل صورة ثابتة واحدة إلى مقطع فيديو قصير يضم حركة الوجه داخل الطائرة وخارج الطائرة (in-plane and out-of-plane face moving). وفي ظل الحفاظ على الدقة والاستقرار العاليين، يعمل 3DDFA-V2 بمعدل أكثر من 50 إطارًا في الثانية على نواة معالج واحدة فقط (CPU core)، ويتفوق على النماذج الثقيلة الأخرى الأكثر تقدمًا في الوقت نفسه. تؤكد التجارب التي أجريت على عدة مجموعات بيانات صعبة كفاءة طريقتنا. يمكن الحصول على النماذج المدربة مسبقًا والكود من الرابط: https://github.com/cleardusk/3DDFA_V2.