Suivi de chaque élément dans la nature

Les métriques actuelles de suivi d'objets multiples (MOT) à plusieurs catégories utilisent les étiquettes de classe pour regrouper les résultats de suivi afin d’effectuer une évaluation par classe. De même, les méthodes de MOT associent généralement les objets uniquement lorsqu’ils ont des prédictions de classe identiques. Ces deux approches courantes dans le domaine de la MOT supposent implicitement que la performance de classification est quasi parfaite. Or, cette hypothèse est loin d’être réaliste sur les jeux de données récents à grande échelle, qui comportent un grand nombre de catégories, dont de nombreuses sont rares ou sémantiquement proches. Par conséquent, les classifications inexactes entraînent un suivi sous-optimal et une évaluation insuffisante des trackers. Nous abordons ces problèmes en dissociant la classification du suivi. Nous proposons une nouvelle métrique, la Track Every Thing Accuracy (TETA), qui décompose la mesure du suivi en trois composantes : localisation, association et classification, permettant ainsi une évaluation complète de la performance du suivi même en cas de classification imparfaite. La TETA prend également en compte le problème difficile des annotations incomplètes présentes dans les grands jeux de données de suivi. Nous introduisons également un nouveau tracker, le Track Every Thing tracker (TETer), qui réalise l’association via une méthode d’association par exemplaires de classe (Class Exemplar Matching, CEM). Nos expériences montrent que la TETA évalue les trackers de manière plus complète, et que le TETer obtient des améliorations significatives sur les jeux de données à grande échelle exigeants, BDD100K et TAO, par rapport aux méthodes de pointe actuelles.