RDFNet：室内セマンティックセグメンテーションのためのRGB-Dマルチレベル残留特徴融合

RGB-Dデータを用いたマルチクラス屋内セマンティックセグメンテーションにおいて、RGB特徴に深度特徴を組み込むことでセグメンテーション精度の向上が示されている。しかし、従来の研究では、マルチモーダル特徴融合の潜在能力を十分に活用できていなかった。例えば、RGBと深度特徴を単純に連結する、またはRGBと深度のスコアマップを平均するといった手法が用いられてきた。本稿では、残差学習の核心的なアイデアをRGB-Dセマンティックセグメンテーションに拡張する新しいネットワークを提案する。本ネットワークは、マルチモーダル特徴融合ブロックとマルチレベル特徴精 refinement ブロックを導入することで、多段階のRGB-D CNN特徴を効果的に捉える。特徴融合ブロックは、RGBと深度特徴の残差表現およびそれらの組み合わせを学習し、RGBと深度データの相補的な特徴を最大限に活かす。また、特徴精 refinement ブロックは、複数レベルからの融合特徴を組み合わせることで、高解像度の予測を可能にする。本ネットワークは、スキップ接続を最大限に活用することで、各モーダルからエンドツーエンドで識別性の高い多段階特徴を効率的に学習できる。広範な実験により、提案アーキテクチャが、2つの挑戦的なRGB-D屋内データセットであるNYUDv2およびSUN RGB-Dにおいて、最先端の精度を達成することが実証された。