PanoDepth : Une approche en deux étapes pour l'estimation de profondeur omnidirectionnelle à partir d'une seule vue

L'information 3D omnidirectionnelle est essentielle pour un large éventail d'applications telles que la réalité virtuelle, la conduite autonome, la robotique, etc. Dans cet article, nous proposons une nouvelle pipeline en deux étapes, indépendante du modèle, pour l'estimation de profondeur monoscopique omnidirectionnelle. Notre cadre proposé, PanoDepth, prend une image 360° en entrée, génère une ou plusieurs vues synthétisées à la première étape, puis alimente l'image d'origine ainsi que les vues synthétisées dans une étape ultérieure de correspondance stéréo. À la deuxième étape, nous introduisons une couche différentiable de déformation sphérique afin de traiter efficacement et efficacement la géométrie stéréo omnidirectionnelle. Grâce à l'utilisation des contraintes géométriques explicites basées sur la stéréo dans l'étape de correspondance stéréo, PanoDepth parvient à produire une carte de profondeur dense et de haute qualité. Nous avons mené des expériences approfondies ainsi que des études d'ablation pour évaluer PanoDepth, tant dans son intégralité que pour chaque module individuel de chaque étape. Nos résultats montrent que PanoDepth surpasser largement les approches de pointe pour l'estimation de profondeur monoscopique 360°.