Reconstruction de la mise en page à partir d'images 360° : du coin à l'ensemble

Le problème de la récupération de la disposition 3D dans les scènes intérieures a été un sujet de recherche central pendant plus d'une décennie. Cependant, plusieurs défis majeurs restent à résoudre. Parmi ceux-ci, une grande partie des méthodes actuelles font des hypothèses implicites ou explicites sur les scènes -- par exemple, des dispositions en forme de boîte ou selon le modèle Manhattan. De plus, les méthodes actuelles sont coûteuses en termes de calcul et ne conviennent pas aux applications en temps réel telles que la navigation robotique et l'AR/VR (Augmented Reality/Virtual Reality). Dans ce travail, nous présentons CFL (Corners for Layout), le premier modèle end-to-end pour la récupération de la disposition 3D à partir d'images 360°. Nos résultats expérimentaux montrent que nous surpassons l'état de l'art en relâchant les hypothèses sur la scène et à un coût moindre. Nous démontrons également que notre modèle généralise mieux aux variations de position de la caméra que les approches conventionnelles grâce à l'utilisation d'EquiConvs, un type de convolution appliqué directement sur la projection sphérique et donc invariant aux distorsions équirectangulaires.Page web CFL : https://cfernandezlab.github.io/CFL/