التعاون بين نموذج الوجه ثلاثي الأبعاد (3DMM) ونقاط المعلمات ثلاثية الأبعاد (3D Landmarks) لتحقيق هندسة وجه دقيقة ثلاثية الأبعاد

يقوم هذا العمل بدراسة التعلم من عملية تكاملية لنموذج الشكل القابل للتغيير ثلاثي الأبعاد (3DMM) ونقاط المعلمات الوجهية ثلاثية الأبعاد للتنبؤ بالهندسة الوجهية الكاملة ثلاثية الأبعاد، بما في ذلك التحديد الثلاثي الأبعاد، اتجاه الوجه، ونمذجة الوجه ثلاثية الأبعاد. تعتمد عملية التكامل الخاصة بنا على دورة تمثيل لمعلمات 3DMM ونقاط المعلمات ثلاثية الأبعاد. يمكن استخراج نقاط المعلمات ثلاثية الأبعاد وتكرارها من شبكات الوجه التي تم بناؤها باستخدام معالم 3DMM. ثم نعكس اتجاه التمثيل ونظهر أن التنبؤ بمعالم 3DMM من نقاط المعلمات النادرة ثلاثية الأبعاد يحسن تدفق المعلومات. معاً، ننشئ عملية تكامل تستفيد من العلاقة بين نقاط المعلمات ثلاثية الأبعاد ومعالم 3DMM، حيث تسهم هذه العناصر بشكل مشترك في أداء أفضل. نقوم بتحقق مكثف من إسهامنا في جميع مهام التنبؤ بهندسة الوجه، ونظهر أداءً فائقاً ومتماسكاً في هذه المهام لسيناريوهات مختلفة. وبشكل خاص، نعتمد فقط على عمليات الشبكة البسيطة والشائعة لتحقيق تنبؤ سريع ودقيق بهندسة الوجه.الرموز والبيانات: https://choyingw.github.io/works/SynergyNet/