要約
高密度深度感知は自動運転やその他のロボット技術の応用において重要な役割を果たします。しかし、現代のLiDARセンサは疎な深度測定しか提供できません。したがって、疎なLiDARデータを補完する必要があり、同期されたガイドRGB画像がしばしばこの補完を容易にするために使用されます。多くのニューラルネットワークがこのタスクのために設計されてきましたが、それらはしばしば単純に特徴量連結や要素ごとの加算によってLiDARデータとRGB画像情報を融合しています。ガイデッド画像フィルタリングに着想を得て、我々は新しいガイデッドネットワークを設計し、ガイド画像からカーネルの重みを予測する方法を開発しました。これらの予測されたカーネルは、深度画像の特徴抽出に適用されます。これにより、我々のネットワークはコンテンツ依存かつ空間変動型のカーネルを生成して多モーダル特徴融合を行います。動的に生成される空間変動型カーネルはGPUメモリ消費と計算負荷を大幅に増大させる可能性があります。これを解決するために、我々は計算量とメモリ消費を削減するための畳み込み分解手法も設計しました。GPUメモリ消費の削減により、多段階スキームでの特徴融合が可能になりました。我々は実世界の屋外、屋内および合成データセットで包括的な実験を行い、提案手法の有効性を検証しました。本手法は強力な結果を示しており、NYUv2データセットでは最先端の手法を超える性能を達成し、提出時時点でKITTI深度補完ベンチマークで1位となっています。また、異なる3D点群密度や様々な照明・天候条件におけるクロスデータセット評価でも高い汎化能力を示しています。コードは再現性のために公開される予定です。