ما هي المسافة التي تفصلنا عن حل مشكلة محاذاة الوجه في الأبعاد الثنائية والثلاثية؟ (ومجموعة بيانات تحتوي على 230,000 نقطة علامة ثلاثية الأبعاد للوجه)

يقوم هذا البحث بدراسة مدى قرب الشبكة العصبية العميقة جدًا من تحقيق أداء قريب من التشبع في مجموعات البيانات الحالية لمحاذاة الوجه ثنائية وثلاثية الأبعاد. لتحقيق هذا الهدف، نقدم الخمسة إسهامات التالية: (أ) نقوم لأول مرة ببناء خط أساس قوي جدًا من خلال دمج هندسة متطورة للتحديد المكاني للنقاط المرجعية مع كتلة بواقي متطورة، تدريبه على مجموعة بيانات ضخمة ومعززة بشكل اصطناعي للنقاط المرجعية ثنائية الأبعاد للوجه، ثم تقييمه على جميع مجموعات البيانات الأخرى للنقاط المرجعية ثنائية الأبعاد للوجه. (ب) ننشئ شبكة مرشدة بالنقاط المرجعية ثنائية الأبعاد تحول هذه النقاط إلى ثلاثية الأبعاد وتتوحد جميع المجموعات الحالية، مما يؤدي إلى إنشاء LS3D-W، أكبر وأصعب مجموعة بيانات لمحاذاة النقاط المرجعية ثلاثية الأبعاد للوجه حتى الآن (حوالي 230,000 صورة). (ج) بعد ذلك، نقوم بتدريب شبكة عصبية لمحاذاة الوجه ثلاثية الأبعاد وتقييمها على LS3D-W الجديدة. (د) ندرس أيضًا تأثير جميع العوامل "التقليدية" المؤثرة في أداء محاذاة الوجه مثل الزاوية الكبيرة، التمهيد والدقة، ونقدم عاملًا "جديدًا"، وهو حجم الشبكة. (هـ) نوضح أن شبكات محاذاة الوجه ثنائية وثلاثية الأبعاد تحقق دقةً ملحوظةً قد تكون قريبة من تشبع المجموعات المستخدمة. يمكن تنزيل رموز التدريب والاختبار ومجموعة البيانات من https://www.adrianbulat.com/face-alignment/