Apprentissage contrastif par découplage et compression spatiotemporels pour la reconnaissance d'actions semi-supervisée basée sur les squelettes

L'apprentissage par contraste a été utilisé avec succès pour apprendre des représentations d'actions afin de résoudre le problème de la reconnaissance d'actions squelettiques semi-supervisée. Cependant, la plupart des méthodes basées sur l'apprentissage par contraste ne comparent que des caractéristiques globales mêlant des informations spatio-temporelles, ce qui confond les informations spécifiques à l'espace et au temps reflétant différentes sémantiques au niveau des images et des articulations. Ainsi, nous proposons un nouveau cadre d'apprentissage par contraste appelé Spatiotemporal Decouple-and-Squeeze Contrastive Learning (SDS-CL) pour apprendre de manière exhaustive des représentations plus riches d'actions squelettiques en comparant conjointement des caractéristiques spatialement compressées, temporellement compressées et globales.Dans le cadre SDS-CL, nous avons conçu un nouveau mécanisme d'attention intra-inter décorrélée spatio-temporelle (SIIA) pour obtenir des caractéristiques attentives décorrélées spatio-temporellement, permettant de capturer des informations spécifiques à l'espace et au temps en calculant des cartes d'attention intra-décorrélée spatiale et temporelle parmi les caractéristiques articulaires/motion, ainsi que des cartes d'attention inter-décorrélée spatiale et temporelle entre les caractéristiques articulaires et de mouvement.De plus, nous présentons une nouvelle perte de compression spatiale et de contraste temporel (STL), une nouvelle perte de compression temporelle et de contraste spatial (TSL), ainsi qu'une perte de contraste global (GL) pour comparer les caractéristiques articulaires et de mouvement spatialement compressées au niveau des images, les caractéristiques articulaires et de mouvement temporellement compressées au niveau des articulations, ainsi que les caractéristiques articulaires et de mouvement globales au niveau du squelette. Des résultats expérimentaux étendus sur quatre jeux de données publics montrent que le SDS-CL proposé obtient des améliorations en termes de performance par rapport aux autres méthodes concurrentes.