要約
セマンティックセグメンテーションは、自動運転やロボットセンシングなどの広範な応用において重要な役割を果たしています。従来の手法は主にRGB画像を使用しており、照明条件（例：暗闇）に大きく影響を受けます。最近の研究では、熱画像が夜間シナリオに対して堅牢であり、セグメンテーションの補完モダリティとして利用できることが示されています。しかし、既存の研究ではRGB-熱（RGB-T）画像を単純に融合するか、またはRGBストリームと熱ストリームの両方に同じ構造のエンコーダーを使用することが多く、変動する照明条件下でのモダリティ差異が考慮されていません。そこで本研究では、RGB-Tセマンティックセグメンテーション用の残差空間融合ネットワーク（Residual Spatial Fusion Network: RSFNet）を提案します。具体的には、非対称エンコーダーを用いてRGB画像と熱画像の補完特徴を学習します。双方向モダリティ特徴を効果的に融合するために、サリエンシー検出により疑似ラベルを生成し、特徴学習を監督します。さらに、構造再パラメータ化によってより有望な特徴を空間的に融合する残差空間融合（Residual Spatial Fusion: RSF）モジュールを開発しました。RSFは階層的な特徴融合を行い、多段階の特徴を集約します。また、信頼度ゲートによって多スペクトル特徴融合を適応的に制御するために、空間的な重み付けと残差接続を適用します。本手法の有効性を検証するために、MFNetデータベースとPST900データベースという2つのベンチマークで広範な実験を行いました。その結果、本手法は最先端のセグメンテーション性能を達成し、精度と速度の良いバランスが取れていることが示されました。