StructDepth : Exploiter les régularités structurelles pour une estimation auto-supervisée de la profondeur en intérieur

L’estimation de profondeur monoscopique auto-supervisée a atteint des performances remarquables sur des jeux de données en extérieur. Toutefois, ses performances se dégradent notablement dans les environnements intérieurs en raison du manque de textures. En l’absence de textures riches, la cohérence photométrique devient trop faible pour entraîner un bon réseau de profondeur. Inspirés par les travaux préliminaires sur la modélisation intérieure, nous exploitons les régularités structurelles présentes dans les scènes intérieures afin d’entraîner un réseau de profondeur plus performant. Plus précisément, nous introduisons deux signaux de supervision supplémentaires pour l’entraînement auto-supervisé : 1) la contrainte de normale de Manhattan, et 2) la contrainte coplanaire. La contrainte de normale de Manhattan impose que les surfaces principales (sol, plafond et murs) soient alignées avec les directions dominantes. La contrainte coplanaire stipule que les points 3D soient bien ajustés par un plan s’ils se trouvent dans la même région planaire. Pour générer ces signaux de supervision, nous utilisons deux composants permettant de classifier les normales principales des surfaces selon les directions dominantes, et de détecter en temps réel les régions planaires pendant l’entraînement. Au fur et à mesure que la profondeur prédite s’améliore au cours des époques d’entraînement, les signaux de supervision se renforcent eux aussi, et contribuent en retour à améliorer davantage le modèle de profondeur. À travers des expériences étendues sur des jeux de données standard pour environnements intérieurs, les résultats montrent que notre réseau surpasser les méthodes de pointe. Le code source est disponible à l’adresse suivante : https://github.com/SJTU-ViSYS/StructDepth.