شبكة ترجيح متعددة الوسائط للكشف عن الكائنات البارزة في الصور RGB-D

تحتوي الخرائط العميقة على أدلة هندسية تساعد في الكشف عن الكائنات البارزة (SOD). في هذه الورقة، نقترح استراتيجية جديدة تُسمى الترجيح عبر الوسائط (CMW) لتعزيز التفاعلات الشاملة بين القنوات الملونة (RGB) والعمق في مهام الكشف عن الكائنات البارزة باستخدام بيانات RGB-D. بشكل خاص، تم تطوير ثلاث وحدات تفاعل بين RGB والعمق، تُسمى CMW-L وCMW-M وCMW-H، لمعالجة على التوالي دمج المعلومات عبر الوسائط على المستويات المنخفضة والمتوسطة والعالية. تعتمد هذه الوحدات على ترجيح من العمق إلى RGB (DW) وترجيح من RGB إلى RGB (RW) لتمكين تفاعلات غنية عبر الوسائط وعبر المقياس بين طبقات الميزات الناتجة عن كتل الشبكة المختلفة. ولتدريب الشبكة المقترحة (CMWNet) بشكل فعّال، قمنا بتصميم دالة خسارة مركبة تلخص الأخطاء بين التوقعات الوسيطة والقيمة الحقيقية على مقياسات متعددة. وبفضل تكامل جميع المكونات الجديدة، تُحقّق CMWNet دمجًا فعّالًا للمعلومات من قنوات RGB والعمق، وفي الوقت نفسه تستكشف تحديد موقع الكائنات والتفاصيل عبر المقياسات المختلفة. وتشير التقييمات الشاملة إلى أن CMWNet تتفوّق باستمرار على 15 طريقة حديثة من أفضل الطرق في مجال SOD باستخدام بيانات RGB-D على سبعة معايير شهيرة.