Segmentation d'objets vidéo auto-supervisée par groupement de mouvement

Les animaux ont évolué avec des systèmes visuels hautement fonctionnels pour comprendre le mouvement, facilitant la perception même dans des environnements complexes. Dans cet article, nous travaillons à développer un système de vision par ordinateur capable de segmenter les objets en exploitant les indices de mouvement, c'est-à-dire la segmentation de mouvement. Nous apportons les contributions suivantes : Premièrement, nous introduisons une variante simple du Transformer pour segmenter les images d'écoulement optique en objets principaux et arrière-plan. Deuxièmement, nous entraînons l'architecture de manière autonome supervisée, c'est-à-dire sans utiliser aucune annotation manuelle. Troisièmement, nous analysons plusieurs composants critiques de notre méthode et menons des études d'ablation approfondies pour valider leur nécessité. Quatrièmement, nous évaluons l'architecture proposée sur des benchmarks publics (DAVIS2016, SegTrackv2 et FBMS59). Malgré l'utilisation uniquement de l'écoulement optique comme entrée, notre approche obtient des résultats supérieurs ou comparables aux méthodes autonomes supervisées précédentes, tout en étant plus rapide d'un ordre de grandeur. Nous effectuons également une évaluation sur un ensemble de données difficile de camouflage (MoCA), surpassant considérablement les autres approches autonomes supervisées et se comparant favorablement à la meilleure méthode supervisée existante, soulignant ainsi l'importance des indices de mouvement et le biais potentiel en faveur de l'apparence visuelle dans les modèles actuels de segmentation vidéo.