HyperAIHyperAI
il y a 2 mois

Trajectoire Dense Améliorée avec Flux Croisés

Katsunori Ohnishi; Masatoshi Hidaka; Tatsuya Harada
Trajectoire Dense Améliorée avec Flux Croisés
Résumé

Les trajectoires denses améliorées (iDT) ont montré de très bonnes performances en reconnaissance d'actions, et leur combinaison avec l'approche à deux flux a atteint des résultats de pointe. Cependant, il est difficile pour les iDT d'éliminer complètement les trajectoires de fond dans une vidéo avec un mouvement de caméra. Les trajectoires dans les régions moins discriminantes devraient être attribuées des poids modérés afin de créer des descripteurs locaux plus discriminants pour la reconnaissance d'actions. De plus, l'approche à deux flux, qui apprend séparément les informations d'apparence et de mouvement, ne peut pas se concentrer sur le mouvement dans les régions importantes lors de l'extraction de caractéristiques à partir des couches de convolution spatiales du réseau d'apparence, et vice versa. Pour résoudre ces problèmes mentionnés ci-dessus, nous proposons un nouveau descripteur local qui combine une nouvelle couche de convolution obtenue par le croisement de deux réseaux le long des iDT. Ce nouveau descripteur est calculé en appliquant des poids discriminants appris à partir d'un réseau à une couche de convolution de l'autre réseau. Notre méthode a obtenu des performances de pointe sur des jeux de données de reconnaissance ordinaire d'actions, avec 92,3 % sur UCF101 et 66,2 % sur HMDB51.