L'Odometrie du Buveur : Estimation du Mouvement de la Caméra dans des Scènes Déformables

L'estimation du mouvement de la caméra dans des scènes déformables représente un défi de recherche complexe et ouvert. La plupart des techniques existantes de structure non rigide à partir du mouvement (SNRM) supposent qu'elles observent également des parties statiques de la scène en plus des parties déformables, afin d'établir une référence d'ancrage. Cependant, cette hypothèse ne s'applique pas dans certains cas d'applications pertinents, tels que les endoscopies. Les pipelines d'odométrie et de SLAM (Simultaneous Localization and Mapping) déformables, qui abordent le scénario le plus difficile des trajectoires exploratoires, souffrent d'un manque de robustesse et de méthodologies d'évaluation quantitative appropriées. Pour relever ce défi avec un benchmark commun, nous présentons le Drunkard's Dataset, une collection exigeante de données synthétiques visant la navigation visuelle et la reconstruction dans des environnements déformables. Ce dataset est le premier ensemble important de trajectoires exploratoires de caméra avec vérité terrain à l'intérieur de scènes 3D où chaque surface présente des déformations non rigides au fil du temps. Des simulations dans des bâtiments 3D réalistes nous permettent d'obtenir une grande quantité de données et de labels vérité terrain, y compris les poses de la caméra, les images RGB et les cartes de profondeur, les flux optiques et les cartes normales à haute résolution et qualité. Nous présentons également une nouvelle méthode d'odométrie déformable appelée Odométrie du Buveur Égaré (Drunkard's Odometry), qui décompose les estimations du flux optique en mouvement rigide de la caméra et en déformations non rigides de la scène. Afin de valider nos données, notre travail inclut une évaluation de plusieurs baselines ainsi qu'une nouvelle métrique d'erreur de suivi qui ne nécessite pas de données vérité terrain. Dataset et code : https://davidrecasens.github.io/TheDrunkard'sOdometry/