CorrI2P : Enregistrement d'image à nuage de points par correspondance dense

Motivés par l'intuition que l'étape cruciale pour localiser une image 2D dans le nuage de points 3D correspondant est d'établir une correspondance 2D-3D entre eux, nous proposons le premier cadre basé sur les caractéristiques pour la correspondance dense, destiné à résoudre le problème d'enregistrement image-nuage de points, appelé CorrI2P. Ce cadre se compose de trois modules, à savoir l'ancrage des caractéristiques (feature embedding), la détection de régions superposées symétriques et l'estimation de la pose à travers la correspondance établie.Plus précisément, étant donné un couple composé d'une image 2D et d'un nuage de points 3D, nous les transformons tout d'abord en espace de caractéristiques à haute dimension et alimentons les caractéristiques résultantes dans un détecteur de régions superposées symétriques afin de déterminer la région où l'image et le nuage de points se chevauchent. Ensuite, nous utilisons les caractéristiques des régions superposées pour établir la correspondance 2D-3D avant d'exécuter EPnP au sein de RANSAC pour estimer la pose de la caméra. Les résultats expérimentaux sur les ensembles de données KITTI et NuScenes montrent que notre méthode CorrI2P surpass significativement les méthodes actuelles d'enregistrement image-nuage de points. Nous mettrons le code à disposition du public.