Suivi et segmentation d'objets en ligne rapide : une approche unifiée

Dans cet article, nous illustrons comment effectuer à la fois le suivi d'objets visuels et la segmentation d'objets vidéo semi-supervisée en temps réel, avec une seule approche simple. Notre méthode, baptisée SiamMask, améliore la procédure d'entraînement hors ligne des approches siamoises entièrement convolutionnelles populaires pour le suivi d'objets en ajoutant une tâche de segmentation binaire à leur fonction de perte. Une fois entraînée, SiamMask ne dépend que d'une initialisation par une seule boîte englobante et fonctionne en ligne, produisant des masques de segmentation d'objets indépendants de la classe et des boîtes englobantes rotatives à 55 images par seconde. Malgré sa simplicité, sa polyvalence et sa vitesse rapide, notre stratégie nous permet d'établir un nouveau standard parmi les traceurs en temps réel sur VOT-2018, tout en démontrant des performances compétitives et la meilleure vitesse pour la tâche de segmentation d'objets vidéo semi-supervisée sur DAVIS-2016 et DAVIS-2017. Le site web du projet est http://www.robots.ox.ac.uk/~qwang/SiamMask.