CapsuleVOS : Segmentation d'objets vidéo semi-supervisée utilisant le routage de capsules

Dans cette étude, nous proposons une approche basée sur les capsules pour la segmentation semi-supervisée d'objets dans des vidéos. Les méthodes actuelles de segmentation d'objets vidéo sont généralement basées sur les images individuelles et nécessitent souvent un flux optique pour capturer la cohérence temporelle entre les images, ce qui peut être difficile à calculer. À cet égard, nous présentons un réseau neuronal à capsules basé sur la vidéo, appelé CapsuleVOS, capable de segmenter plusieurs images simultanément en se conditionnant sur une image de référence et son masque de segmentation. Cette conditionnement est réalisé grâce à un nouvel algorithme de routage pour une sélection efficace des capsules basée sur l'attention. Nous abordons deux problèmes complexes dans la segmentation d'objets vidéo : 1) la segmentation d'objets petits et 2) l'occlusion d'objets au fil du temps. Le problème de la segmentation d'objets petits est résolu par un module de zoom permettant au réseau de traiter des régions spatiales petites de la vidéo. De plus, le cadre utilise un nouveau module mémoire basé sur des réseaux récurrents qui aide à suivre les objets lorsqu'ils sortent du champ ou sont occultés. Le réseau est entraîné de manière end-to-end, et nous démontrons son efficacité sur deux jeux de données de référence pour la segmentation d'objets vidéo ; il surpassant les approches hors ligne actuelles sur le jeu de données Youtube-VOS tout en ayant une durée d'exécution presque deux fois plus rapide que les méthodes concurrentes. Le code est disponible publiquement sur https://github.com/KevinDuarte/CapsuleVOS.