تعلم الانتباه الذاتي المتبادل المُختَارة للكشف عن الاهتمام في الصور الملونة ذات الأبعاد (RGB-D)

يُلقى اهتمام متزايد مؤخرًا على كشف الانتباه في الصور من نوع RGB-D. اعتمدت النماذج السابقة على نمط الدمج المبكر أو دمج النتائج لدمج بيانات RGB والعمق المدخلة أو خرائط الانتباه الخاصة بها، مما يُسبب مشكلة الفجوة في التوزيع أو فقدان المعلومات. أما بعض النماذج الأخرى فقد استخدمت نمط دمج الميزات، لكنها كانت محدودة بطرق دمج الميزات الخطية. في هذا البحث، نقترح دمج الانتباه المُتعلم في كلا الموداليتين. مستوحى من نموذج Non-local، ندمج انتباه الذات وانتباه كل منهما على الآخر لنقل الاعتماديات السياقية على مدى طويل، وبالتالي دمج المعلومات متعددة الموداليات لتعلم الانتباه ونقل السياقات بدقة أكبر. وبما أن انتباه المودالية الأخرى يُعد موثوقًا، نقترح كذلك نموذج انتباه اختياري لوزن الحدث الانتباهي الجديد المُضاف. ونُدمج الوحدة الانتباهية المقترحة في شبكة عصبية تلافيفية ثنائية التدفق (two-stream CNN) للكشف عن الانتباه في الصور من نوع RGB-D. علاوةً على ذلك، نقترح وحدة دمج متبقية (residual fusion module) لدمج ميزات فك التشفير الخاصة بالعمق في التدفق الخاص بـ RGB. وأظهرت النتائج التجريبية على سبعة مجموعات بيانات معيارية فعالية المكونات المقترحة، بالإضافة إلى النموذج النهائي للكشف عن الانتباه. يمكن الاطلاع على الكود والخرائط الناتجة عن الكشف عن الانتباه عبر الرابط: https://github.com/nnizhang/S2MA.