Command Palette
Search for a command to run...
コンテキスト認識型インタラクションネットワークによるRGB-Tセマンティックセグメンテーション
コンテキスト認識型インタラクションネットワークによるRGB-Tセマンティックセグメンテーション
Ying Lv Xiaoyu Chen Zhiwei Guo Jianhong Zhang
概要
RGB-Tセマンティックセグメンテーションは、自動運転のシーン理解において重要な技術です。しかし、既存のRGB-Tセマンティックセグメンテーション手法では、異なるモダリティ間の補完関係を効果的に探索するための情報交換が複数のレベル間で実装されていません。この問題に対処するために、RGB-Tセマンティックセグメンテーション用にコンテクストアウェアインタラクションネットワーク(CAINet)が提案されました。これは、補助タスクと全体的なコンテクストを活用して明示的にガイダンスされた学習を行うための相互作用空間を構築します。具体的には、空間次元とチャネル次元の両方で長期的なコンテクストを持つマルチモーダル特徴量間の補完関係を確立することを目指したコンテクストアウェア補完推論(CACR)モジュールを提案しています。さらに、全体的なコンテクスト情報と詳細情報の重要性を考え、全体コンテクストモデリング(GCM)モジュールと詳細集約(DA)モジュールを提案し、特定の補助監督を導入してコンテクスト相互作用を明示的にガイドし、セグメンテーションマップを精緻化しています。MFNetおよびPST900という2つのベンチマークデータセットでの広範な実験により、提案されたCAINetが最先端の性能を達成していることが示されています。コードはhttps://github.com/YingLv1106/CAINet で公開されています。