Stéréopsis multivue massivement parallèle par diffusion de normales de surface

Nous présentons une nouvelle méthode massivement parallèle pour le recalage multivue de haute qualité. Notre approche s'appuie sur l'idée fondamentale du Patchmatch : en partant de plans 3D aléatoirement générés dans l'espace scène, les plans les mieux ajustés sont itérativement propagés et affinés afin d'obtenir un champ de profondeur 3D et de normales par vue, de manière à maximiser une mesure robuste de photo-consistance sur l'ensemble des images. Nos principales innovations résident d'une part dans la formulation du Patchmatch dans l'espace scène, ce qui permet d'agréger la similarité d'images entre plusieurs vues et d'obtenir des cartes de profondeur plus précises. D'autre part, nous proposons un schéma de propagation modifié, de type diffusion, qui peut être massivement parallélisé et permet d'obtenir des correspondances denses multivues sur dix images de 1,9 mégapixels en seulement 3 secondes, sur une carte graphique grand public. Notre méthode utilise une fenêtre de support inclinée, ce qui élimine tout biais fronto-parallèle ; elle est entièrement locale et parallèle, de sorte que le temps de calcul croît linéairement avec la taille des images, et décroît inversement proportionnellement au nombre de threads parallèles. En outre, elle présente une empreinte mémoire faible (quatre valeurs par pixel, indépendamment de la portée de profondeur). Elle se prête donc exceptionnellement bien à l'échelle et peut traiter simultanément plusieurs grandes images avec une haute résolution en profondeur. Des expériences sur les jeux de données multivues DTU et Middlebury, ainsi que sur des images aériennes obliques, montrent que notre méthode atteint des résultats très compétitifs, avec une haute précision et une grande complétude, dans une variété de scénarios.