要約
RGB赤外線シーン解析は、近年コンピュータビジョン分野において注目を集めている。しかし、既存の大多数の手法は予測マップにおける境界抽出が不十分であり、高レベル特徴を十分に活用できていない。さらに、これらの手法はRGBと赤外線モダリティの特徴を単純に融合しているが、包括的な融合特徴を得ることができない。このような問題に対処するため、本研究ではRGB赤外線シーン解析のためのエッジ感知型ガイド付き融合ネットワーク（EGFNet）を提案する。まず、RGB画像と赤外線画像を用いて事前エッジマップを生成し、予測マップにおける詳細情報を捉えた上で、そのエッジ情報を特徴マップに埋め込む。RGBと赤外線情報の有効な融合を実現するために、十分なクロスモダリティ融合を保証するマルチモーダル融合モジュールを提案する。高レベルの意味的情報を重視し、高レベル特徴から豊富な意味情報を抽出するため、グローバル情報モジュールと意味情報モジュールを導入する。復号処理では、段階的な特徴融合に単純な要素ごとの加算を用いる。さらに、解析精度の向上を図るため、セマンティックマップとエッジマップの両方にマルチタスクディープサブスクリプションを適用する。提案手法EGFNetの有効性を、標準ベンチマークデータセット上で広範な実験により検証した結果、最先端の手法と比較して優れた性能を示した。コードと実験結果は以下のURLから入手可能である：https://github.com/ShaohuaDong2021/EGFNet。