Command Palette
Search for a command to run...
Une mémoire consciente des distracteurs pour le suivi d'objets visuels avec SAM2
Une mémoire consciente des distracteurs pour le suivi d'objets visuels avec SAM2
Jovana Videnovic Alan Lukezic Matej Kristan
Résumé
Les traqueurs basés sur la mémoire sont des méthodes de segmentation d'objets dans les vidéos qui construisent un modèle de l'objet cible en concaténant les images récemment suivies dans une mémoire tampon, puis localisent l'objet en effectuant une attention de l'image courante sur les images stockées. Bien qu’ils aient déjà atteint des performances optimales sur de nombreuses benchmarks, c’est récemment avec la publication de SAM2 que les traqueurs basés sur la mémoire sont entrés dans le vif de l’intérêt de la communauté du suivi d’objets visuels. Néanmoins, les traqueurs modernes peinent encore face à des distracteurs. Nous soutenons qu’un modèle de mémoire plus sophistiqué est nécessaire, et proposons un nouveau modèle de mémoire sensible aux distracteurs pour SAM2, ainsi qu’une stratégie d’actualisation fondée sur l’introspection, qui traite conjointement la précision de la segmentation et la robustesse du suivi. Le traqueur résultant est désigné SAM2.1++. Nous proposons également un nouveau jeu de données, DiDi, dédié à la distillation des distracteurs, afin d’étudier plus efficacement ce problème. SAM2.1++ surpasse SAM2.1 et les extensions mémoire associées de SAM sur sept benchmarks, établissant un nouvel état de l’art solide sur six d’entre eux.