HyperAIHyperAI

Command Palette

Search for a command to run...

Apprentissage contrastif par découplage et compression spatiotemporels pour la reconnaissance d'actions semi-supervisée basée sur les squelettes

Binqian Xu Xiangbo Shu, Senior Member, IEEE

Résumé

L'apprentissage par contraste a été utilisé avec succès pour apprendre des représentations d'actions afin de résoudre le problème de la reconnaissance d'actions squelettiques semi-supervisée. Cependant, la plupart des méthodes basées sur l'apprentissage par contraste ne comparent que des caractéristiques globales mêlant des informations spatio-temporelles, ce qui confond les informations spécifiques à l'espace et au temps reflétant différentes sémantiques au niveau des images et des articulations. Ainsi, nous proposons un nouveau cadre d'apprentissage par contraste appelé Spatiotemporal Decouple-and-Squeeze Contrastive Learning (SDS-CL) pour apprendre de manière exhaustive des représentations plus riches d'actions squelettiques en comparant conjointement des caractéristiques spatialement compressées, temporellement compressées et globales.Dans le cadre SDS-CL, nous avons conçu un nouveau mécanisme d'attention intra-inter décorrélée spatio-temporelle (SIIA) pour obtenir des caractéristiques attentives décorrélées spatio-temporellement, permettant de capturer des informations spécifiques à l'espace et au temps en calculant des cartes d'attention intra-décorrélée spatiale et temporelle parmi les caractéristiques articulaires/motion, ainsi que des cartes d'attention inter-décorrélée spatiale et temporelle entre les caractéristiques articulaires et de mouvement.De plus, nous présentons une nouvelle perte de compression spatiale et de contraste temporel (STL), une nouvelle perte de compression temporelle et de contraste spatial (TSL), ainsi qu'une perte de contraste global (GL) pour comparer les caractéristiques articulaires et de mouvement spatialement compressées au niveau des images, les caractéristiques articulaires et de mouvement temporellement compressées au niveau des articulations, ainsi que les caractéristiques articulaires et de mouvement globales au niveau du squelette. Des résultats expérimentaux étendus sur quatre jeux de données publics montrent que le SDS-CL proposé obtient des améliorations en termes de performance par rapport aux autres méthodes concurrentes.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Apprentissage contrastif par découplage et compression spatiotemporels pour la reconnaissance d'actions semi-supervisée basée sur les squelettes | Articles | HyperAI