Segmentation vidéo rapide d'objets par propagation de masque guidée par référence

Nous présentons une méthode efficace pour la segmentation d’objets dans les vidéos en apprentissage semi-supervisé. Notre approche atteint une précision compétitive par rapport aux méthodes de pointe, tout en s’exécutant en un temps considérablement réduit par rapport aux autres méthodes. Pour atteindre cet objectif, nous proposons un réseau encodage-décodage siamois profond, conçu pour tirer parti de la propagation de masques et de la détection d’objets, tout en évitant les faiblesses inhérentes à chacune de ces deux approches. Notre réseau, entraîné via un processus d’apprentissage en deux étapes exploitant à la fois des données synthétiques et réelles, fonctionne de manière robuste sans nécessiter d’apprentissage en ligne ni de post-traitement. Nous validons notre méthode sur quatre jeux de données de référence couvrant à la fois la segmentation d’un seul objet et celle de plusieurs objets. Sur tous ces jeux de données, notre méthode atteint une précision comparable tout en offrant un temps d’exécution d’un ordre de grandeur plus rapide. Nous fournissons également des études ablatives et des études d’extension approfondies afin d’analyser et d’évaluer notre cadre méthodologique.