空間情報誘導型畳み込みによるリアルタイムRGBDセマンティックセグメンテーション

3次元空間情報は、意味的セグメンテーションタスクにおいて有益であることが知られている。既存の大多数の手法は、3次元空間情報を追加入力として扱い、RGB画像と3次元空間情報を別々に処理する二重ストリームのセグメンテーションネットワークを採用している。このアプローチは推論時間を著しく増加させ、リアルタイム応用への適用範囲を大きく制限している。本研究では、この問題を解決するために、空間情報に従って畳み込みカーネルのサンプリングオフセットを推定できる効率的なRGB特徴量と3次元空間情報の統合を実現する「空間情報誘導畳み込み（S-Conv）」を提案する。S-Convは、3次元空間情報に基づいて畳み込み層の受容 field を調整し、幾何変換に適応する能力を高める。さらに、空間的に適応的な畳み込み重みを生成することで、幾何情報が特徴学習プロセスに組み込まれる。パラメータ量および計算コストの増加をほとんど引き起こさず、幾何形状の認識能力が大幅に向上する。本手法を意味的セグメンテーションネットワークに組み込み、S-Convを活用する「空間情報誘導畳み込みネットワーク（SGNet）」を構築した。その結果、NYUDv2およびSUNRGBDデータセットにおいて、リアルタイム推論を実現しつつ、最先端の性能を達成した。