Command Palette
Search for a command to run...
Reconnaissance d'actions avec diversification du mouvement et sélection dynamique
Reconnaissance d'actions avec diversification du mouvement et sélection dynamique
Wanli Ouyang Yali Wang Zhiyong Wang Ding Liang Lei Bai Luping Zhou Zhipeng Yu Yu Guo Peiqin Zhuang
Résumé
La modélisation du mouvement est essentielle dans les méthodes modernes de reconnaissance d’actions. Étant donné que les dynamiques du mouvement, telles que les vitesses de déplacement ou l’amplitude des actions, peuvent varier considérablement entre différents clips vidéo, il devient un défi majeur de couvrir de manière adaptative les informations pertinentes sur le mouvement. Pour relever ce défi, nous introduisons un module appelé Motion Diversification and Selection (MoDS), conçu pour générer des caractéristiques de mouvement spatio-temporelles diversifiées, puis sélectionner dynamiquement la représentation de mouvement la plus appropriée afin de catégoriser la vidéo d’entrée. Plus précisément, nous proposons tout d’abord un module de génération de mouvement spatio-temporel (StMG), qui construit une banque de caractéristiques de mouvement diversifiées en variant les voisinages spatiaux et les intervalles temporels. Ensuite, un module de sélection dynamique de mouvement (DMS) est employé pour extraire, parmi cette banque, la caractéristique de mouvement la plus discriminante à la fois dans l’espace et dans le temps. Grâce à cette approche, notre méthode exploite pleinement les informations diversifiées sur le mouvement spatio-temporel, tout en préservant une efficacité computationnelle élevée lors de l’inférence. Des expérimentations étendues sur cinq benchmarks largement utilisés démontrent l’efficacité de la méthode, et nous obtenons des performances de pointe (state-of-the-art) sur les jeux de données Something-Something V1 et V2, qui présentent des variations de mouvement importantes.