HyperAIHyperAI

Command Palette

Search for a command to run...

MaskCLR : Apprentissage contrastif guidé par l'attention pour un apprentissage robuste des représentations d'actions

Alexandre Alahi Mariam Hassan Mohamed Abdelfattah

Résumé

Les modèles actuels de reconnaissance d’actions squelettiques basés sur les transformateurs tendent à se concentrer sur un ensemble limité d’articulations et sur des motifs de mouvement de bas niveau pour prédire les classes d’actions. Cela entraîne une dégradation significative des performances en cas de petites perturbations squelettiques ou de changement du détecteur de posture entre l’entraînement et le test. Dans ce travail, nous introduisons MaskCLR, une nouvelle approche d’apprentissage contrastif masqué pour une reconnaissance d’actions squelettiques robuste. Nous proposons une stratégie de masquage probabiliste guidée par l’attention afin d’occulter les articulations les plus importantes, poussant ainsi le modèle à explorer un ensemble plus large d’articulations discriminantes. Par ailleurs, nous introduisons un paradigme d’apprentissage contrastif multi-niveau, visant à rendre les représentations des squelettes standards et des squelettes masqués discriminantes par classe, c’est-à-dire plus compactes à l’intérieur de chaque classe et plus éloignées entre les classes différentes. Notre approche permet au modèle de capturer les sémantiques d’actions de haut niveau plutôt que les variations de bas niveau des articulations, et peut être facilement intégrée aux modèles basés sur les transformateurs. Sans perte de généralité, nous combinons MaskCLR avec trois architectures de transformateurs : le transformateur classique DSTFormer et STTFormer. Des expériences étendues sur les jeux de données NTU60, NTU120 et Kinetics400 montrent que MaskCLR surpasse de manière cohérente les méthodes de l’état de l’art précédentes, tant sur des squelettes standards que sur des squelettes perturbés provenant de différents détecteurs de posture, démontrant ainsi une amélioration de la précision, de la généralisation et de la robustesse. Site du projet : https://maskclr.github.io.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp