Apprentissage de la profondeur monoscopique dans des scènes dynamiques via la cohérence de projection sensible aux instances

Nous présentons un cadre d'entraînement end-to-end qui modélise explicitement, sans supervision, le mouvement 6-DoF de plusieurs objets dynamiques, le mouvement du véhicule (ego-motion) ainsi que la profondeur dans une configuration à caméra monochrome. Nos contributions techniques sont triplement articulées. Premièrement, nous mettons en évidence la différence fondamentale entre la projection inverse et la projection directe lors de la modélisation du mouvement individuel de chaque objet rigide, et proposons un pipeline de projection géométriquement correct basé sur un module neuronal de projection directe. Deuxièmement, nous concevons une perte unifiée, consciente des instances, combinant cohérence photométrique et géométrique, qui impose de manière holistique des signaux d'auto-supervision pour chaque région du fond et des objets. Troisièmement, nous introduisons un schéma généraliste d'auto-annotation utilisant n'importe quel modèle de segmentation d'instances ou de flux optique disponible sur le marché, afin de générer des cartes de segmentation d'instances vidéo qui serviront d'entrée à notre pipeline d'entraînement. Ces éléments proposés sont validés au travers d'une étude d'ablation détaillée. À travers des expérimentations étendues sur les jeux de données KITTI et Cityscapes, notre cadre démontre une performance supérieure aux méthodes les plus avancées en estimation de profondeur et de mouvement. Notre code, les données et les modèles sont disponibles à l'adresse suivante : https://github.com/SeokjuLee/Insta-DM.