HyperAIHyperAI

Command Palette

Search for a command to run...

Alignement RoI temporel pour la reconnaissance d'objets vidéo

Tao Gong Kai Chen Xinjiang Wang Qi Chu Feng Zhu Dahua Lin Nenghai Yu Huamin Feng

Résumé

La détection d'objets dans les vidéos est un défi particulièrement marqué en présence de dégradation de l'apparence dans certaines trames. Il est donc naturel de regrouper des informations temporelles provenant d'autres trames de la même vidéo afin de renforcer l'information disponible dans la trame courante. Toutefois, RoI Align, l'une des opérations centrales des détecteurs vidéo, continue d'extraire des caractéristiques à partir d'une carte de caractéristiques à une seule trame pour les propositions, ce qui entraîne une absence d'information temporelle dans les caractéristiques RoI extraites. Dans ce travail, en tenant compte du fait que les caractéristiques d'une même instance d'objet sont très similaires à travers les trames d'une vidéo, nous proposons un nouvel opérateur, Temporal RoI Align, qui exploite la similarité des caractéristiques pour extraire des informations provenant des cartes de caractéristiques d'autres trames afin de traiter les propositions de la trame courante. L'opérateur Temporal RoI Align permet ainsi d'extraire des informations temporelles issues de l'ensemble de la vidéo pour les propositions. Nous l'avons intégré dans des détecteurs vidéo à une seule trame ainsi que dans d'autres détecteurs vidéo d'avant-garde, et avons mené des expériences quantitatives qui démontrent que l'opérateur proposé améliore de manière constante et significative les performances. En outre, le Temporal RoI Align proposé peut également être appliqué à la segmentation d'instances vidéo. Le code source est disponible à l'adresse suivante : https://github.com/open-mmlab/mmtracking


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Alignement RoI temporel pour la reconnaissance d'objets vidéo | Articles | HyperAI