Apprentissage par contraste graphique pour la reconnaissance d'actions basée sur les squelettes

Dans le domaine de la reconnaissance d’actions basée sur les squelettes, les réseaux de convolution de graphe (GCN) actuellement les plus performants exploitent le contexte intra-séquence afin de construire des graphes adaptatifs pour l’agrégation des caractéristiques. Toutefois, nous affirmons que ce contexte reste encore local, car les relations riches entre les séquences n’ont pas été explicitement explorées. Dans cet article, nous proposons un cadre d’apprentissage contrastif de graphe pour la reconnaissance d’actions basée sur les squelettes (SkeletonGCL) afin d’explorer le contexte global au sein de toutes les séquences. Plus précisément, SkeletonGCL établit une association entre l’apprentissage de graphe à travers les séquences en imposant aux graphes d’être discriminants par classe, c’est-à-dire compactes à l’intérieur de chaque classe et dispersées entre les classes, ce qui améliore la capacité des GCN à distinguer diverses motifs d’actions. En outre, deux mémoires sont conçues pour enrichir le contexte inter-séquences à deux niveaux complémentaires, à savoir les niveaux d’instance et sémantique, permettant ainsi l’apprentissage contrastif de graphe à plusieurs échelles de contexte. En conséquence, SkeletonGCL établit un nouveau paradigme d’entraînement, qui peut être intégré sans difficulté aux GCN existants. Sans perte de généralité, nous combinons SkeletonGCL avec trois GCN (2S-ACGN, CTR-GCN et InfoGCN), obtenant des améliorations constantes sur les benchmarks NTU60, NTU120 et NW-UCLA. Le code source sera disponible à l’adresse suivante : \url{https://github.com/OliverHxh/SkeletonGCL}.