3DVNet : Prédiction de profondeur multi-vue et raffinement volumétrique

Nous présentons 3DVNet, une nouvelle méthode de prédiction de profondeur pour la stéréoscopie multi-vue (MVS) qui combine les avantages des approches MVS basées sur la profondeur et les approches volumétriques précédentes. Notre idée clé est l'utilisation d'un réseau de modélisation de scène 3D qui met à jour itérativement un ensemble de prédictions de profondeur grossières, aboutissant à des prédictions très précises qui sont en accord avec la géométrie sous-jacente de la scène. Contrairement aux techniques existantes de prédiction de profondeur, notre méthode utilise un réseau neuronal convolutif (CNN) volumique 3D qui opère dans l'espace du monde sur toutes les cartes de profondeur conjointement. Le réseau peut donc apprendre des a priori significatifs au niveau de la scène. De plus, contrairement aux techniques MVS volumiques existantes, notre CNN 3D opère sur un nuage de points augmenté par des caractéristiques, permettant une agrégation efficace des informations multi-vues et une refinement itératif flexible des cartes de profondeur. Les résultats expérimentaux montrent que notre méthode dépasse l'exactitude d'état de l'art en termes de prédiction de profondeur et de métriques de reconstruction 3D sur le jeu de données ScanNet, ainsi que sur une sélection de scènes provenant des jeux de données TUM-RGBD et ICL-NUIM. Cela démontre que notre méthode est non seulement efficace mais aussi capable de généraliser à de nouveaux contextes.