RFBNet: 残差融合ブロックを用いたRGB-Dセマンティックセグメンテーションのための深層マルチモーダルネットワーク

RGB-Dセマンティックセグメンテーション手法は、一般的にRGBデータと深度データから特徴を抽出するために2つの独立したエンコーダーを使用しています。しかし、これらのエンコーダー間の相互依存関係を効果的に橋渡すための融合メカニズムが不足しており、複数モダリティからの補完的な情報を十分に活用することができていません。本論文では、新しいボトムアップ型インタラクティブフュージョン構造を提案し、エンコーダー間の相互依存関係をモデル化します。この構造は、エンコーダー間を接続するインタラクションストリームを導入します。インタラクションストリームは、モダリティ固有の特徴を段階的に集約するだけでなく、それらに対して補完的な特徴も計算します。この構造を具体化するために、本論文ではエンコーダー間の相互依存関係を定式化する残差融合ブロック（Residual Fusion Block: RFB）を提案します。RFBは2つの残差ユニットと1つのゲート機構を持つ融合ユニットで構成されています。これにより、モダリティ固有のエンコーダーに対する補完的な特徴を学習し、モダリティ固有の特徴およびクロスモーダルな特徴を抽出することができます。RFBに基づいて、本論文ではRGB-Dセマンティックセグメンテーション用の深層マルチモーダルネットワーク「RFBNet」を提示します。2つのデータセットでの実験結果は、相互依存関係のモデル化の有効性を示し、「RFBNet」が最先端の性能を達成していることを確認しています。