Vers la compréhension de scène : estimation non supervisée de profondeur monoculaire avec une représentation sémantique consciente

L'estimation de profondeur monoculaire constitue une tâche difficile dans le domaine de la compréhension des scènes, visant à extraire les propriétés géométriques de l'espace 3D à partir d'images 2D. En raison du manque de paires d'images RGB-profondeur, les méthodes d'apprentissage non supervisé cherchent à obtenir des informations de profondeur grâce à une supervision alternative, telle que des paires stéréo. Toutefois, la plupart des travaux existants échouent à modéliser la structure géométrique des objets, ce qui découle généralement de l'utilisation de fonctions objectifs au niveau des pixels pendant l'entraînement. Dans cet article, nous proposons SceneNet, une approche permettant de surmonter cette limitation grâce à une compréhension sémantique issue de la segmentation. En outre, notre modèle est capable d'effectuer une estimation de profondeur sensible aux régions en imposant une cohérence sémantique entre les paires stéréo. Dans nos expériences, nous validons qualitativement et quantitativement l'efficacité et la robustesse de notre modèle, qui obtient des résultats favorables par rapport aux approches de pointe.