IB-MVS : Un Algorithme Itératif pour la Stéréoscopie Multivue Profonde basé sur des Décisions Binaires

Nous présentons une nouvelle méthode basée sur l'apprentissage profond pour la stéréoscopie multi-vue (Multi-View Stereo). Notre méthode estime des cartes de profondeur à haute résolution et très précises de manière itérative, en parcourant l'espace continu des valeurs de profondeur possibles pour chaque pixel selon un mode de décision binaire. Le processus de décision utilise une architecture de réseau profond : celle-ci calcule un masque binaire par pixel qui détermine si la profondeur réelle de chaque pixel se trouve devant ou derrière son hypothèse individuelle de profondeur actuelle. De plus, afin de gérer les régions occultées, les résultats provenant d'images sources différentes sont fusionnés à chaque itération en utilisant des poids par pixel estimés par un deuxième réseau. Grâce à la stratégie de décision binaire adoptée, qui permet une exploration efficace de l'espace de profondeur, notre méthode peut traiter des images à haute résolution sans compromettre la résolution et la précision. Cela la distingue de la plupart des méthodes alternatives basées sur l'apprentissage pour la stéréoscopie multi-vue, où la discrétisation explicite de l'espace de profondeur nécessite le traitement de grands volumes coûts. Nous comparons notre méthode avec les méthodes les plus avancées en stéréoscopie multi-vue sur les benchmarks DTU, Tanks and Temples et ETH3D (challenging ETH3D), montrant des résultats compétitifs.