HyperAIHyperAI

Command Palette

Search for a command to run...

Une mémoire consciente des distracteurs pour le suivi d'objets visuels avec SAM2

Jovana Videnovic Alan Lukezic Matej Kristan

Résumé

Les traqueurs basés sur la mémoire sont des méthodes de segmentation d'objets dans les vidéos qui construisent un modèle de l'objet cible en concaténant les images récemment suivies dans une mémoire tampon, puis localisent l'objet en effectuant une attention de l'image courante sur les images stockées. Bien qu’ils aient déjà atteint des performances optimales sur de nombreuses benchmarks, c’est récemment avec la publication de SAM2 que les traqueurs basés sur la mémoire sont entrés dans le vif de l’intérêt de la communauté du suivi d’objets visuels. Néanmoins, les traqueurs modernes peinent encore face à des distracteurs. Nous soutenons qu’un modèle de mémoire plus sophistiqué est nécessaire, et proposons un nouveau modèle de mémoire sensible aux distracteurs pour SAM2, ainsi qu’une stratégie d’actualisation fondée sur l’introspection, qui traite conjointement la précision de la segmentation et la robustesse du suivi. Le traqueur résultant est désigné SAM2.1++. Nous proposons également un nouveau jeu de données, DiDi, dédié à la distillation des distracteurs, afin d’étudier plus efficacement ce problème. SAM2.1++ surpasse SAM2.1 et les extensions mémoire associées de SAM sur sept benchmarks, établissant un nouvel état de l’art solide sur six d’entre eux.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp