UnOVOST : Segmentation et suivi d'objets vidéo hors ligne non supervisés

Nous abordons la segmentation d'objets vidéo non supervisée (UVOS), qui consiste à générer automatiquement des masques pixel-par-pixel précis pour les objets saillants dans une séquence vidéo, tout en les suivant de manière cohérente dans le temps, sans aucune indication sur les objets à suivre. Pour résoudre cette tâche, nous proposons UnOVOST (Unsupervised Offline Video Object Segmentation and Tracking), un algorithme simple et généralisable capable de suivre et de segmenter une grande variété d'objets. Cet algorithme construit les trajectoires en plusieurs étapes : il commence par regrouper les segments en courtes trajectoires (tracklets) spatialement et temporellement cohérents, puis fusionne ces tracklets en trajectoires d'objets à long terme en se basant sur leur similarité visuelle. Pour atteindre cet objectif, nous introduisons un nouvel algorithme de correspondance de données basé sur les tracklets, nommé Forest Path Cutting, qui construit une forêt de décisions à partir d'hypothèses de trajectoires avant de découper cette forêt en chemins formant des trajectoires d'objets cohérentes sur le long terme. Lors de l'évaluation de notre approche sur le jeu de données DAVIS 2017 en mode non supervisé, nous obtenons des performances de pointe avec un score moyen J&F de 67,9 % sur le jeu de validation, 58 % sur le jeu test-dev et 56,4 % sur le jeu test-challenge, remportant ainsi la première place au DAVIS 2019 Unsupervised Video Object Segmentation Challenge. UnOVOST se distingue même par une performance compétitive par rapport à de nombreux algorithmes de segmentation vidéo d'objets semi-supervisés, bien qu'il ne reçoive aucune information quant aux objets à suivre ou segmenter.