كشف الانتباه RGB-D من خلال التقليل المتسلسل لمعلومات التبادل

لا تُشجّع النماذج الحالية للكشف عن الاهتمام البصري في الصور RGB-D بشكل صريح على تحقيق تعلم متعدد الأنواع الفعّال بين الصور RGB والبيانات العميقة. في هذا البحث، نقدّم إطارًا جديدًا للتعلم المتسلسل متعدد المراحل من خلال تقليل المعلومات المتبادلة، بهدف "تمثيلًا صريحًا" للمعلومات متعددة الأنواع بين الصورة RGB والبيانات العميقة. بشكل محدد، نقوم أولاً بتحويل ميزات كل نمط إلى متجه ميزات أدنى أبعاد، ثم نستخدم تقليل المعلومات المتبادلة كعامل تنظيم لتقليل التكرار بين الميزات البصرية المستمدة من RGB والميزات الهندسية المستمدة من العمق. بعد ذلك، نُطبّق التعلم المتسلسل متعدد المراحل، مع تطبيق قيد تقليل المعلومات المتبادلة في كل مرحلة من مراحل الشبكة. أظهرت التجارب الواسعة على مجموعات بيانات معيارية للكشف عن الاهتمام البصري RGB-D فعالية الإطار المُقترح. علاوةً على ذلك، ولتعزيز تطور هذا المجال، نقدّم أكبر مجموعة بيانات (بحجم 7 أضعاف مجموعة NJU2K)، تتضمّن 15,625 زوجًا من الصور، مع تسميات عالية الجودة على مستويات متعددة: مضلعات، خطوط رسمية، كائنات، كيانات، وتصنيفات ترتيبية. وباستخدام هذه التسميات الغنية، نُنشئ أربع معايير جديدة ذات قواعد مقارنة قوية، ونلاحظ بعض الظواهر المثيرة للاهتمام، والتي يمكن أن تحفّز تصميم النماذج المستقبلية. يُتاح كود المصدر ومجموعة البيانات عبر الرابط: "https://github.com/JingZhang617/cascaded_rgbd_sod".