Reconnaissance d'actions basée sur le squelette avec apprentissage spatio-temporel local et non-local synchrone et attention fréquentielle

Profitant de sa concision et de sa robustesse, la reconnaissance d'actions basée sur le squelette a récemment suscité beaucoup d'attention. La plupart des méthodes existantes utilisent des réseaux locaux (par exemple, récurrents, convolutifs et de convolution de graphe) pour extraire les dynamiques spatio-temporelles de manière hiérarchique. Par conséquent, les dépendances locales et non-locales, qui contiennent respectivement plus de détails et de sémantique, sont capturées asynchronement à différents niveaux de couches. De plus, les méthodes existantes sont limitées au domaine spatio-temporel et ignorent les informations du domaine fréquentiel. Pour extraire de manière synchrone des informations détaillées et sémantiques à partir de plusieurs domaines, nous proposons un bloc d'attention résiduelle fréquentielle (rFA) afin de se concentrer sur les motifs discriminants dans le domaine fréquentiel, ainsi qu'un bloc local et non-local synchrone (SLnL) pour capturer simultanément les détails et la sémantique dans le domaine spatio-temporel. En outre, une perte focale à marge souple (SMFL) est proposée pour optimiser l'ensemble du processus d'apprentissage, qui effectue automatiquement la sélection des données et encourage les marges intrinsèques dans les classifieurs. Notre approche dépasse significativement d'autres méthodes de pointe sur plusieurs jeux de données à grande échelle.