التعلم متعدد المهام منفصل بتنظيم ذاتي دوري لتحليل الوجه

يُحلِّل هذا البحث العوامل الجوهرية وراء حالات الفشل الشائعة (مثل عدم الاتساق المكاني وارتباك الحدود) التي تنتجها الطريقة المتطورة حديثًا في تحليل الوجه. ولحل هذه المشكلات، نقترح نموذجًا جديدًا يُسمى التعلم متعدد المهام المُفصَّل مع تنظيم ذاتي دوري (DML-CSR) لتحليل الوجه. بشكل محدد، يصمم DML-CSR نموذجًا متعدد المهام يتضمن ثلاث مهام: تحليل الوجه، وكشف الحواف الثنائية، وتحديد الحواف حسب الفئة. وتتشارك هذه المهام فقط في أوزان المشفر المنخفض المستوى، دون أي تفاعلات على المستوى العالي بينها، مما يمكّن من فصل الوحدات المساعدة عن الشبكة الكاملة أثناء مرحلة الاستنتاج. ولمعالجة مشكلة عدم الاتساق المكاني، نطور شبكة تلافيفية رسمية ديناميكية ثنائية لالتقاط المعلومات السياقية الشاملة دون استخدام أي عملية تجميع إضافية. ولمعالجة ارتباك الحدود في السيناريوهات التي تتضمن وجهًا واحدًا أو أكثر، نستفيد من كشف الحواف الثنائية وحافة الفئة معًا للحصول على هيكل هندسي عام ومؤشرات دلالية دقيقة لوجه الإنسان. علاوة على ذلك، ولمنع تدهور قدرة النموذج على التعميم أثناء التدريب بسبب التسميات الضوضائية، نقترح آلية تنظيم ذاتي دوري تُستخدم فيها تجميع النماذج الذاتي لعدة نسخ من النموذج لتكوين نموذج جديد، ثم يستخدم هذا النموذج الناتج لاستخلاص المعرفة من النماذج اللاحقة عبر تكرار دوري. أظهرت التجارب أن طريقة العمل هذه تحقق أداءً جديدًا على مستوى الحد الأقصى في أحدث الأداء على مجموعات بيانات Helen وCelebAMask-HQ وLapa. يمكن الوصول إلى الكود المصدري عبر الرابط التالي: https://github.com/deepinsight/insightface/tree/master/parsing/dml_csr.