Unification du suivi à court et à long terme grâce à des hiérarchies de graphes

Suivre des objets sur de longues vidéos de manière efficace implique de résoudre une large gamme de problèmes, allant de l’association à court terme pour des objets non occlus à l’association à long terme pour des objets qui disparaissent puis réapparaissent dans la scène. Les méthodes conçues pour ces deux tâches sont souvent disjointes et spécifiques à des scénarios particuliers, et les approches les plus performantes reposent souvent sur un mélange de techniques, ce qui conduit à des solutions fortement ingénierisées et peu générales. Dans ce travail, nous remettons en question la nécessité d’approches hybrides et introduisons SUSHI, un suiveur d’objets multiples unifié et évolutif. Notre approche traite les longues séquences en les divisant en une hiérarchie de sous-séquences, ce qui permet une grande évolutivité. Nous utilisons des réseaux neuronaux graphiques pour traiter tous les niveaux de cette hiérarchie, ce qui rend notre modèle unifié à travers les échelles temporelles et hautement généralisable. En conséquence, nous obtenons des améliorations significatives par rapport aux états de l’art sur quatre jeux de données diversifiés. Le code et les modèles sont disponibles à l’adresse bit.ly/sushi-mot.