تحسين التنبؤ بالسمات الوجهية باستخدام التجزئة الدلالية

السمات هي خصائص ذات معنى دلالي تتجاوز نطاق الفئات بشكل واسع. وهي تكتسب أهمية خاصة في وصف وتعرف المفاهيم حيث لا يتم تقديم أمثلة تدريبية صريحة، مثل التعلم بدون نماذج (zero-shot learning). بالإضافة إلى ذلك، نظرًا لأن السمات يمكن وصفها من قبل البشر، يمكن استخدامها لتحقيق التفاعل البشري-الحاسوبي بكفاءة عالية. في هذا البحث، نقترح استخدام تقسيم الدلالة للتحسين من توقع السمات الوجهية. الفكرة الأساسية تكمن في حقيقة أن العديد من السمات الوجهية تصف الخصائص المحلية. بعبارة أخرى، احتمالية ظهور سمة ما في صورة الوجه بعيدة عن التوزيع المنتظم في المجال المكاني. نبني نموذجنا لتوقع السمات الوجهية بالاشتراك مع شبكة عميقة لتقسيم الدلالة. هذا يتيح استغلال المؤشرات المكانية التي تم تعلمها بواسطة تقسيم الدلالة لتعزيز التركيز على المناطق التي تظهر فيها السمات المختلفة بشكل طبيعي. نتيجة لهذا النهج، بالإضافة إلى التعرف، نتمكن من تحديد موقع السمات رغم وجود معلومات فقط على مستوى الصورة (إشراف ضعيف) أثناء التدريب. قمنا بتقييم الطريقة المقترحة على مجموعات البيانات CelebA و LFWA وحققنا نتائج أفضل من الأعمال السابقة. علاوة على ذلك، أظهرنا أن في المشكلة العكسية، يتحسن تقسيم الوجه الدلالي عندما تكون السمات الوجهية متاحة. وهذا يؤكد الحاجة إلى بناء هذين المهمتين المرتبطتين معًا بشكل مشترك.