الكشف المشترك عن الكائنات وأجزاء المعنى باستخدام الانتباه

في هذا البحث، نتناول مشكلة الكشف المشترك عن الأشياء مثل الكلاب وأجزائها الدلالية مثل الوجه والرجل وما إلى ذلك. تم إنشاء نموذجنا على أساس نموذجين من Faster-RCNN يشاركان في ميزاتهما لتنفيذ دمج ميزات جديد يستند إلى الانتباه (Attention-based feature fusion) بين الميزات المرتبطة بالأشياء والأجزاء للحصول على تمثيلات محسنة لكليهما. تُستخدم هذه التمثيلات في التصنيف النهائي وتقدير الصندوق الحددي بشكل منفصل لكل من النموذجين. أظهرت تجاربنا على مجموعة بيانات PASCAL-Part 2010 أن الكشف المشترك يمكن أن يحسن في الوقت نفسه كلاً من الكشف عن الأشياء والكشف عن الأجزاء من حيث الوسط الحسابي لدقة الاسترجاع (mean Average Precision - mAP) عند IoU=0.5.