チャネルと空間関係伝播ネットワークを用いたRGB-熱画像の意味分割

RGB-Thermal (RGB-T) 画像のセマンティックセグメンテーションは、RGB画像に基づくセマンティックセグメンテーションが低光量条件下で劣化するRGB画像の品質問題を解決するために大きな可能性を示しています。RGB-Tセマンティックセグメンテーションの鍵は、RGB画像と熱画像の補完性を効果的に活用することにあります。既存の多くのアルゴリズムでは、特徴空間において単方向強化または双方向集約の方法で、連結、要素ごとの加算、または注意操作を通じてRGBと熱情報を融合しています。しかし、これらの手法は通常、特徴融合時にRGB画像と熱画像間のモダリティギャップを見落としており、その結果、一方のモダリティ固有の情報が他方を汚染することがあります。本論文では、Channel and Spatial Relation-Propagation Network (CSRPNet) を提案します。これはRGB-Tセマンティックセグメンテーションのために設計され、異なるモダリティ間で共有される情報のみを伝播させることにより、モダリティ固有の情報による汚染問題を軽減します。まずCSRPNetは、チャンネル次元と空間次元での関係伝播を行い、RGB特徴と熱特徴から共有される特徴を抽出します。次に、CSRPNetは一方のモダリティから抽出された共有特徴を他方からの入力特徴と集約し、汚染問題なく入力特徴を強化します。融合された後も、強化されたRGBおよび熱特徴はそれぞれ交互に作用する特徴融合のために次のRGBまたは熱特徴抽出層へ入力されます。また、我々はマルチレイヤー特徴を集約してセマンティック予測と境界予測を行うためのデュアルパス連続的な特徴精製モジュールも導入しました。広範な実験結果により示されていますが、CSRPNetは最先端のアルゴリズムに対して有利な性能を発揮しています。