Filtres convolutionnels conscients de la distortion pour la prédiction dense dans les images panoramiques

La demande croissante de données 3D pour les images et vidéos panoramiques à 360° est stimulée par la disponibilité grandissante sur le marché de matériels spécialisés à la fois pour la capture (par exemple, caméras omnidirectionnelles) et pour la visualisation en 3D (par exemple, affichages montés sur tête). Parallèlement, les capteurs 3D capables de capturer des données panoramiques 3D restent coûteux et/ou difficiles à obtenir. Pour combler cet écart, nous proposons une approche d’apprentissage visant à estimer la carte de profondeur panoramique à partir d’une seule image. Grâce à un filtre de convolution déformable spécifiquement conçu pour tenir compte des distorsions, notre méthode peut être entraînée à l’aide d’images perspectives conventionnelles, puis utilisée pour prédire la profondeur des images panoramiques, évitant ainsi l’effort nécessaire à la création d’un ensemble d’entraînement annoté pour les images panoramiques. Nous démontrons également l’efficacité de notre approche pour des tâches émergentes telles que la SLAM monocabine panoramique, la segmentation sémantique panoramique et le transfert de style panoramique.