Modulation de décodeur pour la complétion de profondeur en intérieur

La complétion de profondeur vise à reconstruire une carte de profondeur dense à partir de mesures de capteurs. Les méthodes actuelles sont principalement conçues pour des mesures très rares de profondeur provenant de LiDAR dans des environnements extérieurs, tandis que pour les scènes intérieures, les capteurs de type Time-of-Flight (ToF) ou à lumière structurée sont généralement utilisés. Ces capteurs fournissent des cartes semi-denses, avec des mesures denses dans certaines régions et presque absentes dans d'autres. Nous proposons un nouveau modèle prenant en compte la différence statistique entre ces régions. Notre contribution principale est une nouvelle branche de modulation ajoutée à l'architecture encodeur-décodage. L'encodeur extrait des caractéristiques à partir de l'image RGB concaténée avec la profondeur brute. En prenant en entrée le masque des valeurs manquantes, la branche de modulation proposée ajuste différemment le décodage de la carte de profondeur dense à partir de ces caractéristiques selon les régions. Cette adaptation est réalisée en modifiant la distribution spatiale des signaux de sortie à l’intérieur du décodeur grâce à des blocs de normalisation adaptative spatialement (SPADE). Notre deuxième contribution est une nouvelle stratégie d’entraînement qui permet d’entraîner le modèle sur des données de profondeur semi-dense même en l’absence de carte de profondeur de référence. Notre modèle atteint des résultats de pointe sur le jeu de données intérieur Matterport3D. Conçu pour des entrées de profondeur semi-denses, notre modèle reste compétitif par rapport aux approches orientées LiDAR sur le jeu de données KITTI. Notre stratégie d’entraînement améliore significativement la qualité des prédictions, même en l’absence de vérité terrain dense, comme le montre l’évaluation sur le jeu de données NYUv2.