360SD-Net : Estimation stéréoscopique de profondeur à 360° avec un volume de coût apprenable

Récemment, les réseaux neuronaux profonds entraînables de bout en bout ont considérablement amélioré l'estimation de la profondeur stéréoscopique pour les images en perspective. Cependant, les images 360° capturées avec une projection équirectangulaire ne peuvent pas bénéficier directement des méthodes existantes en raison des distorsions introduites (c'est-à-dire, les lignes en 3D ne sont pas projetées en lignes en 2D). Pour résoudre ce problème, nous présentons une nouvelle architecture spécifiquement conçue pour la disparité sphérique en utilisant le dispositif de paires de caméras 360° haut-bas. De plus, nous proposons d'atténuer le problème de distorsion par (1) une branche d'entrée supplémentaire capturant la position et la relation de chaque pixel dans le système de coordonnées sphériques, et (2) un volume de coût construit à partir d'un filtre décalable appris. En raison du manque de données stéréoscopiques 360°, nous avons collecté deux jeux de données stéréoscopiques 360° provenant de Matterport3D et Stanford3D pour l'entraînement et l'évaluation. Des expériences étendues et une étude d'ablation sont fournies pour valider notre méthode par rapport aux algorithmes existants. Enfin, nous montrons des résultats prometteurs dans des environnements réels capturés avec deux caméras grand public.