RGB-D顕著オブジェクト検出のためのクロスモーダル重み付けネットワーク

深度マップは、顕著物体検出（SOD）を支援するための幾何学的ヒントを含んでいる。本論文では、RGBと深度チャンネル間の包括的な相互作用を促進するための新規なクロスモーダルウェイティング（CMW）戦略を提案する。具体的には、低レベル、中レベル、高レベルのクロスモーダル情報統合に対応するため、それぞれCMW-L、CMW-M、CMW-Hと名付けられた3つのRGB-深度相互作用モジュールを設計した。これらのモジュールは、Depth-to-RGB Weighing（DW）とRGB-to-RGB Weighting（RW）を用いて、異なるネットワークブロックによって生成された特徴層間で豊かなクロスモーダルかつクロススケールの相互作用を可能にする。提案するクロスモーダルウェイティングネットワーク（CMWNet）を効果的に学習させるために、複数スケールにおける中間予測と真値との誤差を統合した複合損失関数を設計した。これらの新規な構成要素が統合的に機能することで、CMWNetはRGBと深度チャンネルからの情報の効果的な統合を実現するとともに、スケールにわたる物体の局在化と詳細情報の探索を可能にする。広範な評価により、CMWNetが7つの代表的なベンチマークにおいて、15の最先端RGB-D SOD手法を一貫して上回ることが示された。