Estimation géométrique régularisée de la profondeur à partir d’images intérieures 360°

Motivés par la corrélation entre la profondeur et la structure géométrique d’une image 360° intérieure, nous proposons un nouveau cadre d’estimation de profondeur fondé sur l’apprentissage, qui exploite la structure géométrique d’une scène pour réaliser cette estimation. Plus précisément, nous représentons la structure géométrique d’une scène intérieure comme un ensemble de coins, de contours et de plans. D’une part, une fois une carte de profondeur estimée, cette structure géométrique peut être extraite à partir de cette carte ; elle sert donc de régularisateur pour l’estimation de profondeur. D’autre part, cette estimation bénéficie également de la structure géométrique d’une scène extraite à partir d’une image, où celle-ci agit comme une information a priori. Toutefois, la présence d’ameublement dans les scènes intérieures rend difficile l’extraction de la structure géométrique à partir des données de profondeur ou d’image. Pour surmonter ce défi, nous introduisons une carte d’attention qui facilite à la fois l’estimation de la profondeur à partir des caractéristiques de la structure géométrique, et l’inférence de la structure géométrique à partir de la carte de profondeur estimée. Pour valider l’efficacité de chaque composant de notre cadre dans des conditions contrôlées, nous avons généré un jeu de données synthétique, le Shanghaitech-Kujiale Indoor 360 dataset, comprenant 3 550 images 360° intérieures. Des expériences étendues sur des jeux de données populaires confirment l’efficacité de notre approche. Nous démontrons également que notre méthode peut être appliquée à l’estimation de profondeur contre-factuelle.