Volumetric Propagation Network: Stereo-LiDAR 融合による長距離深度推定

ステレオLiDAR融合は、実用的な用途のために2種類の3D認識（ステレオカメラによる濃密な3D情報とLiDARによる高精度な疎な点群）を活用できる有望なタスクです。しかし、異なるモダリティと構造のため、センサデータの合わせ方（アライメント）が成功したセンサ融合の鍵となります。この課題に対処するため、我々は長距離深度推定に向けた幾何学的に意識したステレオLiDAR融合ネットワークを提案します。このネットワークは「ボリューム伝播ネットワーク」と呼ばれています。我々のネットワークの主要なアイデアは、疎で高精度な点群を統一された3Dボリューム空間におけるステレオ画像の対応関係をガイドする手がかりとして利用することです。既存の融合戦略とは異なり、我々は直接点群をボリュームに埋め込みます。これにより、ボリューム内の近傍ボクセルに有効な情報を伝播させることができ、対応関係の不確実性を低減できます。したがって、2つの異なる入力モダリティをシームレスに融合し、長距離深度マップを回帰することが可能になります。さらに、我々は画像によってガイドされる新しい特徴抽出層であるFusionConv（フュージョンコンブ）を提案することで、融合性能を向上させています。FusionConvは、語彙的（2D画像領域）および幾何学的（3D領域）関係双方を考えた点群特徴を抽出し、ボリュームでの融合を支援します。我々のネットワークは、最近のステレオLiDAR融合手法の中でKITTIデータセットおよびVirtual-KITTIデータセットにおいて最先端の性能を達成しています。