Extraction hiérarchique de priorités pour la stéréo multi-vue non locale

En tant que problème fondamental en vision par ordinateur, la stéréo multi-vue (MVS) vise à reconstruire la géométrie 3D d’un objet à partir d’un ensemble d’images 2D. Les avancées récentes en MVS ont montré qu’il est essentiel de capturer des informations structurées à longue portée afin de mieux restaurer la géométrie dans les régions à faible texture. Dans ce travail, nous proposons une méthode intitulée Hierarchical Prior Mining for Non-local Multi-View Stereo (HPM-MVS). Les caractéristiques clés de notre approche reposent sur trois techniques exploitant l’information non locale pour améliorer la MVS : 1) Un schéma d’échantillonnage extensible non local (NESP), capable d’ajuster de manière adaptative la taille des zones échantillonnées sans se coincer dans des solutions locales sous-optimales. 2) Une nouvelle méthode pour exploiter les points fiables non locaux et construire un modèle a priori planaire basé sur le K-Plus Proches Voisins (KNN), permettant d’obtenir des hypothèses potentielles dans les régions où la construction a priori est particulièrement difficile. 3) Un cadre de minage hiérarchique a priori (HPM), conçu pour extraire de vastes informations a priori non locales à différentes échelles afin d’aider à la reconstruction du modèle 3D ; cette stratégie permet d’atteindre un équilibre significatif entre la reconstruction des détails fins et celle des zones à faible texture. Les résultats expérimentaux sur les bases ETH3D et Tanks & Temples confirment les performances supérieures et la forte capacité de généralisation de notre méthode. Le code source sera publié.