Point3R : Reconstruction 3D en temps réel avec mémoire de pointeur spatial explicite

La reconstruction 3D dense d'une scène à partir d'une séquence ordonnée ou d'une collection d'images non ordonnées est une étape cruciale pour la mise en œuvre des recherches en vision par ordinateur dans des scénarios pratiques. En suivant le paradigme introduit par DUSt3R, qui unifie de manière dense un couple d'images dans un système de coordonnées partagé, les méthodes ultérieures maintiennent une mémoire implicite pour réaliser la reconstruction 3D dense à partir de plus d'images. Cependant, cette mémoire implicite est limitée en capacité et peut subir une perte d'information des premiers cadres. Nous proposons Point3R, un cadre en ligne visant la reconstruction 3D dense en flux continu. Plus précisément, nous maintenons une mémoire explicite de pointeurs spatiaux directement associée à la structure 3D de la scène actuelle. Chaque pointeur dans cette mémoire est attribué à une position 3D spécifique et agrège les informations de la scène voisine dans le système de coordonnées global en une caractéristique spatiale changeante. Les informations extraites du dernier cadre interagissent explicitement avec cette mémoire de pointeurs, permettant l'intégration dense de l'observation actuelle dans le système de coordonnées global. Nous concevons un plongement positionnel hiérarchique 3D pour favoriser cette interaction et élaborons un mécanisme de fusion simple mais efficace pour garantir que notre mémoire de pointeurs soit uniforme et performante. Notre méthode obtient des performances compétitives ou de pointe sur diverses tâches avec des coûts d'entraînement faibles. Le code est disponible à : ce lien.