DuLa-Net : Un réseau à double projection pour l'estimation des dispositions de pièces à partir d'un panorama RGB unique

Nous présentons un cadre de deep learning, appelé DuLa-Net, pour prédire les dispositions 3D de pièces dans un monde de type Manhattan à partir d'une seule image panoramique RGB. Pour améliorer la précision des prédictions, notre méthode utilise simultanément deux projections du panorama, à savoir la vue panoramique équirectangulaire et la vue plafonnière perspective, chacune contenant des indices différents sur les dispositions des pièces. Notre architecture de réseau comprend deux branches encodeur-décodeur pour analyser chacune des deux vues. De plus, une nouvelle structure de fusion de caractéristiques est proposée pour relier les deux branches, qui sont ensuite entraînées conjointement pour prédire les plans 2D du sol et les hauteurs des dispositions. Pour apprendre des dispositions de pièces plus complexes, nous introduisons le jeu de données Realtor360 qui contient des images panoramiques de dispositions de pièces dans un monde de type Manhattan avec différents nombres d'angles. Les résultats expérimentaux montrent que notre travail surpassent les méthodes récentes d'avant-garde en termes de précision et de performance des prédictions, notamment dans les pièces aux dispositions non cuboïdes.