Mémoire améliorée pour une agrégation globale-locale en détection d'objets vidéo

Comment les êtres humains reconnaissent-ils un objet dans une séquence vidéo ? En raison de la dégradation de la qualité d'une seule trame, il peut être difficile pour une personne d'identifier un objet masqué dans cette trame en ne s'appuyant que sur les informations contenues dans une seule image. Nous soutenons que deux indices essentiels aident les humains à reconnaître des objets dans les vidéos : l'information sémantique globale et l'information de localisation locale. Récemment, de nombreuses méthodes ont adopté des mécanismes d'attention auto-associative afin d'améliorer les caractéristiques de la trame clé en exploitant soit l'information sémantique globale, soit l'information de localisation locale. Dans cet article, nous introduisons un réseau MEGA (Memory Enhanced Global-Local Aggregation), qui constitue l'une des premières approches à prendre pleinement en compte à la fois les informations globales et locales. De plus, grâce à un nouveau module de mémoire à longue portée (LRM), soigneusement conçu, notre méthode MEGA permet à la trame clé d'accéder à une quantité bien plus importante de contenu que les approches précédentes. Grâce à l'enrichissement apporté par ces deux sources d'information, notre méthode atteint des performances de pointe sur le jeu de données ImageNet VID. Le code est disponible à l'adresse suivante : \url{https://github.com/Scalsol/mega.pytorch}.