الكشف عن الكائنات البارزة باستخدام RGB-D مع التنظيم عبر الوسائط المتقاطعة واختيارها

نقدّم طريقة فعّالة لدمج وتقويم تكاملات التباين بين الوسائط المختلفة بشكل تدريجي للكشف عن الكائنات البارزة في الصور ذات الألوان (RGB-D). يحل الشبكة المقترحة مشكلتين صعبتين: 1) كيفية دمج المعلومات التكميلية من الصورة الملونة (RGB) وخرائط العمق المقابلة لها بشكل فعّال، و2) كيفية اختيار ميزات مرتبطة بالبروز بشكل تكيفي. أولاً، نقترح وحدة توليد الميزات عبر الوسائط (cmFM) التي تُحسّن تمثيلات الميزات من خلال استخدام ميزات العمق كمعلومة أولية، حيث تُحدّد العلاقات التكميلية بين بيانات RGB-D. ثانيًا، نقترح وحدة اختيار الميزات التكيفية (AFS) التي تُختار الميزات المرتبطة بالبروز وتحجب الميزات الأضعف. تعتمد وحدة AFS على دمج ميزات المكان عبر الوسائط، مع أخذ الاعتماديات بين القنوات داخل الوسائط نفسها والاعتماديات بين الوسائط المختلفة بعين الاعتبار. ثالثًا، نستخدم وحدة انتباه موجهة بالبروز ووضع الحافة (sg-PEA) لتشجيع الشبكة على التركيز أكثر على المناطق المرتبطة بالبروز. تُشكّل هذه الوحدات مجتمعة، وتُسمى بلوك cmMS، دعماً لتحسين ميزات البروز بطريقة من الخشنة إلى الدقيقة. وبالاقتران مع عملية استنتاج من الأسفل إلى الأعلى، تُمكّن الميزات المحسّنة للبروز من تحقيق كشف دقيق ومحفوظ للحواف. تُظهر التجارب الواسعة أن شبكتنا تتفوّق على أحدث كاشفات البروز في ستة معايير شائعة للكشف عن الكائنات البارزة في الصور RGB-D.