Apprentissage non supervisé de la profondeur monoculaire et du mouvement ego avec structure et sémantique

Nous présentons une approche qui tire parti à la fois de la structure et de la sémantique pour l'apprentissage non supervisé de la profondeur et du mouvement égocentrique à partir d'une seule caméra. Plus précisément, nous modélisons le mouvement des objets individuels et apprenons leur vecteur de mouvement 3D conjointement avec la profondeur et le mouvement égocentrique. Nous obtenons des résultats plus précis, en particulier pour les scènes dynamiques complexes qui n'ont pas été abordées par les approches précédentes. Il s'agit d'une version étendue de l'article de Casser et al. [AAAI'19]. Le code source et les modèles sont disponibles sur https://sites.google.com/corp/view/struct2depth.