ACNet: 注意に基づくネットワークによる補完的な特徴の活用RGBDセマンティックセグメンテーション

RGBセマンティックセグメンテーションと比較して、RGBDセマンティックセグメンテーションは深度情報を取り入れることでより優れた性能を達成できます。しかし、現代のセグメンターがRGBD情報を効果的に活用することは依然として問題があり、RGB画像と深度（D）画像の特徴分布が異なるシーンでは大幅に異なるためです。本論文では、RGBと深度ブランチから選択的に特徴を収集するAttention Complementary Network (ACNet) を提案します。主な貢献は、Attention Complementary Module (ACM) と3つの並列ブランチを持つアーキテクチャにあります。具体的には、ACMはチャンネル注意に基づくモジュールであり、RGBと深度ブランチから重み付けされた特徴を抽出します。このアーキテクチャは元のRGBと深度ブランチの推論を維持しつつ、融合ブランチも可能にします。以上の構造に基づき、ACNetは異なるチャンネルからより高品質な特徴を活用することができます。我々はSUN-RGBDおよびNYUDv2データセット上でモデルを評価し、当該モデルが最先端の手法を上回ることを証明しました。特に、ResNet50を使用してNYUDv2テストセット上でmIoUスコア48.3%を達成しています。我々はPyTorchベースのソースコードおよび学習済みセグメンテーションモデルをhttps://github.com/anheidelonghu/ACNetで公開します。