DSFNet: شبكة دمج المساحة المزدوجة لمحاذاة الوجه الكثيف ثلاثي الأبعاد المقاوم للحجب

الحساسية للإغلاق الشديد والزوايا البصرية الكبيرة تحد من سيناريوهات استخدام طرق التناظر الكثيف ثلاثي الأبعاد الحالية للكاميرا أحادية العدسة. الطريقة الأكثر تقدماً المستندة إلى نموذج الوجه المرن (3DMM)، تقوم بترجيع معاملات النموذج مباشرة، مما يؤدي إلى الاستخدام غير الكامل للمعلومات الفضائية ثنائية الأبعاد والمعاني الأولية، والتي يمكن أن توفر إشارات لشكل الوجه واتجاهه. في هذا العمل، نوضح كيف يمكن لنمذجة الهندسة الفacial ثلاثية الأبعاد بشكل مشترك في مساحة الصورة ومساحة النموذج حل مشكلتي الإغلاق والزاوية البصرية. بدلاً من التنبؤ بالوجه بأكمله مباشرة، نقوم أولاً بترجيع خصائص مساحة الصورة في المنطقة المرئية من الوجه عن طريق التنبؤ الكثيف. بعد ذلك، نتنبأ بمعاملات نموذجنا بناءً على الخصائص المرتجعة للمناطق المرئية، مستفيدين من المعرفة السابقة لهندسة الوجه بأكمله من النماذج القابلة للتغيير لإكمال المناطق غير المرئية. نقترح أيضًا شبكة دمج تجمع بين مزايا التنبؤ في مساحة الصورة ومساحة النموذج لتحقيق متانة عالية ودقة في السيناريوهات غير المقيدة. بفضل الوحدة المقترحة للدمج، تكون طريقتنا مقاومة ليس فقط للإغلاق والزوايا البصرية الكبيرة للأمام والجانب (والتي هي فائدة منهجيتنا في مساحة الصورة)، ولكن أيضًا للضوضاء والزوايا البصرية الكبيرة للدوران (والتي هي فائدة منهجيتنا في مساحة النموذج). تظهر التقييمات الشاملة الأداء المتفوق لطريقتنا مقارنة بالطرق الأكثر تقدماً حاليًا. في مهمة التناظر الكثيف ثلاثي الأبعاد للوجه، نحقق نسبة خطأ 3.80% على مجموعة بيانات AFLW2000-3D، مما يتفوق على الطريقة الأكثر تقدماً بنسبة 5.5%. الرمز البرمجي متاح على https://github.com/lhyfst/DSFNet.