img2pose: محاذاة الوجه واكتشافه عبر درجات الحرية الست، تقدير وضعية الوجه

نقترح تقدير وضع الوجه ثلاثي الأبعاد بست درجات من الحرية (6DoF) في الوقت الفعلي دون الحاجة إلى اكتشاف الوجه أو تحديد المعالم. نلاحظ أن تقدير التحويل الجامد بست درجات من الحرية للوجه هو مشكلة أبسط من اكتشاف معالم الوجه، الذي يُستخدم غالبًا لمحاذاة الوجه ثلاثي الأبعاد. بالإضافة إلى ذلك، فإن 6DoF تقدم معلومات أكثر من علامات الصندوق الحددي للوجه. نستفيد من هذه الملاحظات لتقديم عدة إسهامات: (أ) نصف نموذجًا قائمًا على فاستر آر-سي إن إن (Faster R-CNN) يمكن تدريبه بسهولة ويعمل بكفاءة، حيث يقوم بتقدير وضع الوجه بست درجات من الحرية لكل الوجوه في الصورة دون الحاجة إلى اكتشاف الوجه مسبقًا. (ب) نشرح كيفية تحويل وضع الوجه والحفاظ على توافقه بين الصورة الإدخال وقطع الصور العشوائية التي يتم إنشاؤها أثناء تدريب وتقييم نموذجنا. (ج) وأخيرًا، نوضح كيف يمكن استبدال علامات الصندوق الحددي للاكتشاف بمواقع الوجوه. الاختبارات على قاعدة بيانات AFLW2000-3D وBIWI تظهر أن طريقتنا تعمل في الوقت الفعلي وتتفوق على أفضل النماذج الحالية (SotA) لتقدير وضع الوجه. بشكل ملحوظ، تتجاوز طريقتنا أيضًا أفضل النماذج الحالية ذات التعقيد المماثل في معيار الكشف عن WIDER FACE، رغم أنها لم يتم تنظيمها باستخدام علامات الصندوق الحددي.