Collaboration compétitive : Apprentissage non supervisé conjoint de la profondeur, du mouvement caméra, du flot optique et de la segmentation de mouvement

Nous abordons l'apprentissage non supervisé de plusieurs problèmes interconnectés en vision de bas niveau : la prédiction de profondeur à partir d'une seule vue, l'estimation du mouvement de la caméra, le flux optique et la segmentation d'une vidéo en scène statique et régions en mouvement. Notre intuition clé est que ces quatre problèmes fondamentaux en vision sont couplés par des contraintes géométriques. Par conséquent, apprendre à les résoudre ensemble simplifie le problème car les solutions peuvent se renforcer mutuellement. Nous dépassons les travaux précédents en exploitant la géométrie de manière plus explicite et en segmentant la scène en régions statiques et mobiles. À cette fin, nous introduisons Competitive Collaboration (Collaboration Compétitive), un cadre qui facilite l'entraînement coordonné de plusieurs réseaux neuronaux spécialisés pour résoudre des problèmes complexes. La Collaboration Compétitive fonctionne beaucoup comme l'algorithme d'espérance-maximisation, mais avec des réseaux neuronaux qui agissent à la fois comme des concurrents pour expliquer les pixels correspondant aux régions statiques ou mobiles, et comme des collaborateurs grâce à un modérateur qui attribue les pixels soit à une région statique, soit à une région mobile indépendante. Notre méthode novatrice intègre tous ces problèmes dans un cadre commun et raisonne simultanément sur la segmentation de la scène en objets mobiles et arrière-plan statique, le mouvement de la caméra, la profondeur de la structure de scène statique et le flux optique des objets mobiles. Notre modèle est entraîné sans aucune supervision et atteint des performances d'état de l'art parmi les méthodes conjointes non supervisées sur tous les sous-problèmes.