17日前

非対称2ストリームアーキテクチャによる高精度なRGB-Dサリエンシー検出

{Jie Liu, Yongri Piao, Miao Zhang, Huchuan Lu, Sun Xiao Fei, Shuang Xu}
非対称2ストリームアーキテクチャによる高精度なRGB-Dサリエンシー検出
要約

現在の主流であるRGB-Dサリエンシー検出手法は、判別的なRGBおよび深度表現を学習するため、対称的な二ストリームアーキテクチャを採用している。しかし、実際にはしばしば無視されがちなもう一つの不確実性が存在する:RGBデータと深度データが同一のネットワークに組み込まれる必要があるかどうかという点である。本論文では、RGBと深度データの本質的な相違を考慮した非対称な二ストリームアーキテクチャを提案する。まず、RGBストリームに対して、グローバルかつローカルな情報を完全に抽出しつつ、サリエンシーの詳細情報を保持するためのフローラダーモジュール(FLM)を設計した。これは、4つの詳細情報伝達ブランチを構築することで実現され、各ブランチは詳細情報を保持しつつ、垂直方向に並列する他のブランチの表現からグローバルな位置情報を進化的に受け取ることで、情報の統合と強化を図っている。次に、困難なシーンにおいても、深度特徴が位置情報および空間構造において高い判別力を有するように、それをRGB特徴と組み合わせる際に効果的に活用できるようにするための新しい深度注意モジュール(DAM)を提案する。さらに、本提案するDAMにより、深度特徴がRGB特徴を判別的にガイドすることで、サリエントオブジェクトの正確な位置特定が可能となる。広範な実験により、本手法が7つのデータセットにおいて、13の最先端RGB-D手法を上回る優れた性能を達成することが示された。本研究のコードは公開予定である。