Plan2Scene : Conversion de plans d'étage en scènes 3D

Nous abordons la tâche de convertir un plan d'étage et un ensemble de photos associées d'une résidence en un modèle 3D texturé, une tâche que nous appelons Plan2Scene. Notre système 1) élève une image de plan d'étage à un modèle 3D maillé ; 2) synthétise des textures de surface à partir des photos d'entrée ; et 3) infère des textures pour les surfaces non observées en utilisant une architecture de réseau neuronal graphique. Pour entraîner et évaluer notre système, nous créons des jeux de données de textures de surface intérieure et enrichissons un jeu de données existant comprenant des plans d'étage et des photos avec des coupes rectifiées de surface et des annotations supplémentaires. Notre approche répond au défi de produire des textures répétitives pour les surfaces dominantes telles que les sols, les murs et les plafonds à partir d'un ensemble clairsemé de photos non alignées qui ne couvrent que partiellement la résidence. Les évaluations qualitatives et quantitatives montrent que notre système génère des modèles 3D intérieurs réalistes, surpassant les approches basiques sur une série de métriques de qualité des textures et selon une étude utilisateur globale.