TP-GMOT : Suivi de multiples objets génériques par commande textuelle avec le coût de mouvement-apparence (MAC) SORT

Bien que le suivi multi-objet (MOT) ait connu des avancées substantielles, il est limité par une forte dépendance aux connaissances préalables et se restreint à des catégories prédéfinies. En revanche, le suivi multi-objet générique (GMOT), qui suit plusieurs objets ayant une apparence similaire, nécessite moins d'informations a priori sur les cibles mais rencontre des défis liés aux variations de point de vue, d'éclairage, d'occlusion et de résolution. Nos contributions commencent avec la présentation du jeu de données Refer-GMOT, une collection de vidéos chacune accompagnée de descriptions textuelles détaillées de leurs attributs. Par la suite, nous introduisons un nouveau cadre de suivi multi-objet générique à vocabulaire ouvert basé sur des invites textuelles, appelé TP-GMOT, capable de suivre des catégories d'objets jamais vues sans exemples d'apprentissage. Dans le cadre de TP-GMOT, nous présentons deux composants novateurs : (i) TP-OD, une détection d'objets guidée par une invite textuelle, pour détecter précisément des objets inconnus avec des caractéristiques spécifiques. (ii) MAC-SORT (Motion-Appearance Cost SORT), une nouvelle approche d'association d'objets qui intègre habilement les stratégies de correspondance basées sur le mouvement et l'apparence pour relever le défi complexe du suivi de multiples objets génériques très similaires. Nos contributions sont évaluées sur le jeu de données Refer-GMOT pour la tâche GMOT. De plus, pour évaluer la généralisabilité du cadre proposé TP-GMOT et l'efficacité du traceur MAC-SORT, nous menons des études par élimination sur les jeux de données DanceTrack et MOT20 pour la tâche MOT. Notre jeu de données, notre code et nos modèles seront mis à disposition publiquement à l'adresse suivante : https://fsoft-aic.github.io/TP-GMOT