OmniLayout : Reconstruction de la disposition des pièces à partir de panoramas sphériques intérieurs

Étant donné un panorama RGB unique, l'objectif de la reconstruction du plan 3D est d'estimer la disposition de la pièce en prédiction des coins, des limites du sol et du plafond. Une approche courante a consisté à utiliser des réseaux de neurones convolutionnels standards pour prédire les coins et les limites, suivis d'un traitement postérieur pour générer le plan 3D. Cependant, les distorsions spatiales variables dans les images panoramiques ne sont pas compatibles avec la propriété d'équivariance translationnelle des convolutions standards, ce qui dégrade les performances. Nous proposons donc d'utiliser des convolutions sphériques. Le réseau résultant, que nous appelons OmniLayout, effectue directement des convolutions sur la surface sphérique, en échantillonnant selon une projection équirectangulaire inverse et donc invariant aux distorsions équirectangulaires.En utilisant une nouvelle métrique d'évaluation, nous montrons que notre réseau réduit l'erreur dans les régions fortement distordues (près des pôles) d'environ 25 % par rapport aux réseaux de neurones convolutionnels standards. Les résultats expérimentaux montrent que OmniLayout surpassent l'état de l'art d'environ 4 % sur deux jeux de données de référence différents (PanoContext et Stanford 2D-3D). Le code est disponible à l'adresse suivante : https://github.com/rshivansh/OmniLayout.