要約
本稿では、画像と疎な点群から密な深度を推定するための深層ニューラルネットワークアーキテクチャを提案する。本ネットワークは、LIDARや他の距離センサから得られる同期された疎な点群と、それに対応する動画ストリーム、ならびにカメラの内在パラメータを用いて訓練される。推論時には、訓練時とは異なるカメラのキャリブレーション情報を、疎な点群と単一の画像とともにネットワークの入力として供給する。Calibrated Backprojection Layerは、キャリブレーション行列と深度特徴記述子を用いて、画像内の各ピクセルを三次元空間に逆投影する。得られた3D位置エンコーディングは、画像の記述子および前の層の出力と連結され、エンコーダの次の層への入力として用いられる。スキップ接続を活用したデコーダにより、密な深度マップが生成される。このようにして構築されたCalibrated Backprojection Network（KBNet）は、光度再投影誤差を最小化することで、教師なし学習によって訓練される。KBNetは、一般的な正則化に基づく補完ではなく、訓練データに基づいて欠損した深度値を補完する。公開されている深度補完ベンチマーク上でKBNetを評価した結果、訓練とテストに同一のカメラを使用した場合、屋内では最先端手法を30.5%、屋外では8.8%上回った。テストに使用するカメラが訓練時と異なる場合、性能向上は62%に達した。コードは以下にて公開されている：https://github.com/alexklwong/calibrated-backprojection-network。