MOTS : Suivi et segmentation multi-objets

Ce travail étend la tâche populaire de suivi multi-objets au suivi et à la segmentation multi-objets (MOTS). Pour atteindre cet objectif, nous créons des annotations denses au niveau des pixels pour deux ensembles de données de suivi existants à l'aide d'une procédure d'annotation semi-automatique. Nos nouvelles annotations comprennent 65 213 masques de pixels pour 977 objets distincts (voitures et piétons) dans 10 870 images vidéo. Pour l'évaluation, nous étendons les métriques existantes de suivi multi-objets à cette nouvelle tâche. De plus, nous proposons une nouvelle méthode de base qui aborde conjointement la détection, le suivi et la segmentation avec un seul réseau convolutif. Nous démontrons la valeur de nos ensembles de données en réalisant des améliorations des performances lors de l'entraînement sur les annotations MOTS. Nous croyons que nos ensembles de données, nos métriques et notre méthode de base deviendront une ressource précieuse pour le développement d'approches de suivi multi-objets qui dépassent les boîtes englobantes 2D. Nous mettons nos annotations, notre code et nos modèles à disposition sur https://www.vision.rwth-aachen.de/page/mots.