التعلم العدواني للحجم الدلالي لاسترجاع شكل الوجه ثنائي وثلاثي الأبعاد في البيئة الطبيعية

أحدثت الطرق القائمة على الانحدار ثورة في تحديد المواقع ثنائية الأبعاد (2D) للعلامات باستخدام الشبكات العصبية العميقة والبيانات المُعلّمة الواسعة النطاق في البيئات الواقعية. ومع ذلك، لا يزال تحديد المواقع ثلاثية الأبعاد (3D) للعلامات يشكل تحديًا كبيرًا نظرًا لقلة البيانات المُعلّمة وطبيعة العلامات الغامضة من منظور ثلاثي الأبعاد. في هذا البحث، نعيد النظر في الطرق القائمة على الانحدار ونقترح إطارًا تنبؤيًا مزدوجًا يعتمد على التنبؤ بالبُكْسَات (Voxel) والتنبؤ بالإحداثيات باستخدام تعلم مُناقض (Adversarial Learning) لتحديد المواقع الوجهية ثنائية وثلاثية الأبعاد في السياقات الواقعية. أولاً، نقدم تمثيلًا حجميًا معنويًا (Semantic Volumetric Representation) لتمثيل احتمالية كل بُكْسَة بأن تكون إحدى المواقع ثلاثية الأبعاد للعلامات. ثم نصمم مسارًا متكاملًا (End-to-End) يُجري التنبؤ بشكل مشترك مع التمثيل الحجمي المقترح و벡تور الإحداثيات. يعزز هذا المسار دقة التنبؤات ومقاومتها للتشويش، كما يوحد عملية تحديد المواقع ثنائية وثلاثية الأبعاد، مما يسمح باستخدام البيانات ثنائية وثلاثية الأبعاد معًا في نفس الوقت. علاوة على ذلك، نستخدم استراتيجية تعلم مُناقض لاستخلاص البنية ثلاثية الأبعاد المُتعلّمة من مجموعات بيانات مُصطنعة وتطبيقها على البيانات الواقعية ضمن بيئة مُعلّمة بشكل ضعيف، حيث نقترح مُميّزًا تنبؤيًا مساعدًا (Auxiliary Regression Discriminator) لتحفيز الشبكة على إنتاج تنبؤات معقولة لكل من الصور المُصطنعة والواقعية. تم التحقق من فعالية طريقة البحث على مجموعتي بيانات معياريتين، وهما 3DFAW وAFLW2000-3D، في مهام تحديد المواقع الوجهية ثنائية وثلاثية الأبعاد. أظهرت النتائج التجريبية أن الطريقة المقترحة تحقق تحسينات كبيرة مقارنة بالطرق السابقة المُتميزة في مجالها.