تعلم العلاقة المكانية-الدلالية للتعرف على السمات الوجهية باستخدام كميات محدودة من البيانات المُعلَّمة

أظهرت التطورات الحديثة في التعلم العميق نتائج ممتازة في مهمة التعرف على السمات الوجهية (FAR)، والتي تُدرَّب عادةً باستخدام بيانات مُوسومة كبيرة الحجم. ومع ذلك، في العديد من التطبيقات الواقعية لـ FAR، تكون البيانات الموسومة محدودة، مما يؤدي إلى تدهور كبير في الأداء بالنسبة لمعظم الطرق القائمة على التعلم العميق. ولحل هذه المشكلة، نقترح هنا طريقة تُسمى تعلم القطع الفضائية-الدلالية (SSPL). يتضمن تدريب SSPL مرحلتين. أولاً، تم تطوير ثلاث مهام مساعدة تشمل مهمة دوران القطع (PRT)، ومهام تقسيم القطع (PST)، ومهام تصنيف القطع (PCT)، وذلك بشكل مشترك لاستخلاص العلاقة الفضائية-الدلالية من بيانات وجوه غير موسومة كبيرة الحجم. وبهذا، نحصل على نموذج مُدرّب مسبقًا قوي. وبشكل خاص، تستفيد PRT من المعلومات المكانية في صور الوجوه بطريقة تعلُّم ذاتي دون إشراف. في حين تلتقط PST وPCT على التوالي المعلومات الدلالية على مستوى البكسل وعلى مستوى الصورة، بناءً على نموذج تحليل الوجه (facial parsing). ثانيًا، يتم نقل المعرفة الفضائية-الدلالية التي تم تعلّمها من المهام المساعدة إلى مهمة التعرف على السمات الوجهية. وبذلك، يصبح من الممكن تحسين النموذج المُدرّب مسبقًا باستخدام عدد محدود جدًا من البيانات الموسومة. وقد أظهرت التجارب والدراسات الواسعة تفوقنا على الطرق الرائدة في مجالها.