Devinez ce qui bouge : Segmentation non supervisée de vidéos et d'images en anticipant le mouvement

Le mouvement, mesuré par le flux optique, fournit une indication puissante pour découvrir et apprendre les objets dans les images et les vidéos. Cependant, comparé à l'utilisation de l'apparence, il présente certaines zones d'ombre, comme le fait que les objets deviennent invisibles s'ils ne bougent pas. Dans ce travail, nous proposons une approche qui combine les avantages de la segmentation basée sur le mouvement et celle basée sur l'apparence. Nous suggérons de superviser un réseau de segmentation d'images avec la tâche prétexte de prédire des régions susceptibles de contenir des motifs de mouvement simples, et donc susceptibles de correspondre à des objets. Comme le modèle n'utilise qu'une seule image en entrée, nous pouvons l'appliquer dans deux contextes : la segmentation vidéo non supervisée et la segmentation d'images non supervisée. Nous obtenons des résultats d'état de l'art pour les vidéos et démontrons la viabilité de notre approche sur des images fixes contenant des objets nouveaux. De plus, nous expérimentons avec différents modèles de mouvement et différentes architectures de flux optique et trouvons que la méthode est robuste face à ces changements. La page du projet et le code sont disponibles à l'adresse suivante : https://www.robots.ox.ac.uk/~vgg/research/gwm.