16日前

RGB-D顕著オブジェクト検出におけるクロスモダリティモジュレーションと選択

Chongyi Li, Runmin Cong, Yongri Piao, Qianqian Xu, Chen Change Loy
RGB-D顕著オブジェクト検出におけるクロスモダリティモジュレーションと選択
要約

本研究は、RGB-D顕著オブジェクト検出(SOD)におけるマルチモーダル補完性を段階的に統合・精緻化する効果的な手法を提示する。提案するネットワークは、以下の2つの課題を主に解決する:1)RGB画像とその対応する深度マップからの補完的情報を効果的に統合する方法、および2)より顕著性に関連する特徴を適応的に選択する方法。まず、深度特徴を事前知識として用いることで特徴表現を強化する「クロスモーダル特徴調製(cmFM)」モジュールを提案する。このモジュールはRGB-Dデータ間の補完的関係をモデル化する。次に、顕著性に関連する特徴を選択し、劣る特徴を抑制する「適応的特徴選択(AFS)」モジュールを提案する。AFSモジュールは、自己モーダルおよびクロスモーダル間のチャネル特徴の相互依存性を考慮したマルチモーダル空間特徴融合を活用する。さらに、顕著性をガイドする位置・エッジ注意(sg-PEA)モジュールを導入し、ネットワークが顕著性に関連する領域に重点を置くように促進する。上記のモジュールを統合した全体構造を「cmMSブロック」と呼び、粗い段階から細かい段階へと顕著性特徴を精緻化するプロセスを実現する。この構造を下位から上位への推論(bottom-up inference)と組み合わせることで、高精度かつエッジを保持したSODが実現される。広範な実験により、提案手法は6つの代表的なRGB-D SODベンチマークにおいて、最先端の顕著性検出器を上回ることを示した。

RGB-D顕著オブジェクト検出におけるクロスモダリティモジュレーションと選択 | 最新論文 | HyperAI超神経