変分確率融合ネットワークを用いたRGB-Tセマンティックセグメンテーション

RGB-Tセマンティックセグメンテーションは、RGB画像と熱画像の異なるモダリティ特性を融合することにより、照明条件が悪い難しいシーンを処理するために広く採用されています。既存の手法では、最適な融合特徴量を見つけることを試みていますが、これによりモダリティノイズ、クラス不均衡、およびモダリティバイアスに対する感度が高まっています。これらの問題を克服するため、本論文では新しい変分確率融合ネットワーク（Variational Probabilistic Fusion Network: VPFNet）を提案します。VPFNetは融合特徴量を確率変数として扱い、複数のサンプルから得られるセグメンテーション結果の平均を取ることで堅牢なセグメンテーションを達成します。VPFNetにおける融合特徴量のランダムサンプリングは、変分注意に基づいて設計された新しい変分特徴量融合モジュール（Variational Feature Fusion Module: VFFM）によって実現されます。さらにクラス不均衡やモダリティバイアスを避けるために、重み付きクロスエントロピー損失を使用し、VFFMに照度とカテゴリの事前情報を導入しています。MFNetおよびPST900データセットでの実験結果は、提案したVPFNetが最先端のセグメンテーション性能を達成できることを示しています。