要約
2D画像と対応する3D点群のローカライズに重要なステップは、それらの間で2D-3D対応を確立することであるという直感に基づき、我々は画像から点群へのレジストレーション問題に対処するための最初の特徴量ベースの密集対応フレームワークを提案します。このフレームワークはCorrI2Pと呼ばれ、特徴量埋め込み、対称的な重複領域検出、および確立された対応を通じた姿勢推定という3つのモジュールで構成されています。具体的には、2D画像と3D点群のペアが与えられた場合、まずこれらを高次元特徴量空間に変換し、得られた特徴量を対称的な重複領域検出器に入力して、画像と点群が重なる領域を決定します。その後、重複領域の特徴量を使用して2D-3D対応を確立し、RANSAC内でのEPnPアルゴリズムを実行してカメラの姿勢を推定します。KITTIおよびNuScenesデータセットにおける実験結果は、我々のCorrI2Pが最先端の画像から点群へのレジストレーション手法を大幅に上回ることを示しています。また、コードを公開する予定です。