要約
画像誘導型深度補完（Image guided depth completion）とは、疎な深度マップと高品質な画像から密な深度マップを生成するタスクである。このタスクにおいて、色情報（カラー）と深度情報のモダリティをいかに効果的に融合するかが、優れた性能を達成する鍵となる。本論文では、色情報に優位性を持つブランチと深度情報に優位性を持つブランチから構成される二本のブランチアーキテクチャを提案する。具体的には、一方のブランチはカラー画像と疎な深度マップを入力として、密な深度マップを予測する。他方のブランチは、疎な深度マップと前段階で予測された深度マップを入力とし、同様に密な深度マップを出力する。二つのブランチから得られる深度マップは互いに補完的な性質を有しており、それらを適応的に融合することで、より精度の高い結果が得られる。さらに、3D幾何的特徴を効果的に表現するためのシンプルな幾何学的畳み込み層（geometric convolutional layer）を提案する。この幾何学的符号化されたバックボーンは、複数の段階で異なるモダリティの融合を実現し、優れた深度補完性能を達成する。また、融合された深度マップを効率的に精緻化するため、拡張されたCSPN++（dilated and accelerated CSPN++）を導入している。提案手法は、提出時点でのKITTI深度補完オンラインリーダーボードにおいて1位を獲得した。また、トップクラスの手法と比較しても、推論速度が著しく高速である。本研究の実装コードは、https://github.com/JUGGHM/PENet_ICRA2021 にて公開されている。