Command Palette
Search for a command to run...
CACFNet:RGB-T都市シーン解析のためのクロスモーダルアテンションカスケード融合ネットワーク
CACFNet:RGB-T都市シーン解析のためのクロスモーダルアテンションカスケード融合ネットワーク
Lu Yu Meixin Fang Shaohua Dong WuJie Zhou
概要
カラー・サーマル(RGB-T)都市シーン解析は近年、広範な関心を集めている。しかし、既存の多数のRGB-T都市シーン解析手法は、RGBとTの特徴間における情報補完性を十分に活用していない。本研究では、モダリティ間の補完情報を効果的に活用するため、クロスモーダル注意機構を用いた段階的融合ネットワーク(CACFNet)を提案する。本設計では、クロスモーダル注意融合モジュールが二つのモダリティから補完的な情報を抽出する。その後、段階的融合モジュールが、下位から上位へと多段階の特徴をデコードする。各ピクセルが属する領域のカテゴリにラベル付けされていることに着目し、ピクセルと領域の関係を探索する領域ベースのモジュールも提案する。さらに、従来の手法がピクセル単位の予測に対して単に交差エントロピー損失を用いるのに対し、本研究ではピクセル同士の関係を学習するための追加損失関数を導入する。二つのデータセットにおける広範な実験結果から、提案するCACFNetがRGB-T都市シーン解析において最先端の性能を達成することが示された。