HyperAIHyperAI

Command Palette

Search for a command to run...

Augmentation de données par mélange conjoint pour la reconnaissance d'actions basée sur les squelettes

Zengfu Wang Linhua Xiang

Résumé

La reconnaissance d’actions basée sur les squelettes est particulièrement utile pour comprendre le comportement humain dans les vidéos, et a suscité un intérêt croissant ces dernières années en tant que domaine de recherche clé dans le domaine de la reconnaissance d’actions. Les recherches actuelles se concentrent sur la conception d’algorithmes plus avancés afin d’extraire de manière plus efficace les informations spatio-temporelles à partir des données squelettiques. Toutefois, en raison du faible volume de données des jeux de données existants de squelettes et du manque de méthodes d’augmentation de données efficaces, les modèles sont facilement sujets au surapprentissage lors de l’entraînement. Pour relever ce défi, nous proposons une méthode d’augmentation de données basée sur le mélange, nommée Joint Mixing Data Augmentation (JMDA), capable d’améliorer de manière générale l’efficacité et la robustesse de divers algorithmes de reconnaissance d’actions basés sur les squelettes.En ce qui concerne l’information spatiale, nous introduisons SpatialMix (SM), une méthode qui projette les données discrètes 3D du squelette original dans un espace 2D. Ensuite, SM réalise un mélange des informations spatiales entre deux échantillons aléatoires pendant le processus d’entraînement, permettant ainsi une augmentation de données basée sur l’espace. Quant à l’information temporelle, nous proposons TemporalMix (TM). En exploitant la continuité temporelle présente dans les données squelettiques, nous appliquons une opération de redimensionnement temporel aux données squelettiques initiales, puis fusionnons deux échantillons aléatoires durant l’entraînement pour réaliser une augmentation de données basée sur le temps.Par ailleurs, nous analysons le problème de désalignement des caractéristiques (Feature Mismatch, FM) causé par l’introduction de l’augmentation de données par mélange dans les données squelettiques. À cette fin, nous proposons une nouvelle méthode de prétraitement des données appelée Feature Alignment (FA), qui permet efficacement de résoudre ce problème et d’améliorer les performances du modèle. En outre, nous introduisons une nouvelle stratégie d’entraînement, nommée Joint Training Strategy (JTS), qui combine plusieurs méthodes d’augmentation de données basées sur le mélange afin d’optimiser davantage les performances du modèle.Plus précisément, la méthode JMDA proposée est plug-and-play et largement applicable aux modèles de reconnaissance d’actions basés sur les squelettes. De plus, son application n’entraîne aucune augmentation du nombre de paramètres du modèle et impose pratiquement aucun coût supplémentaire en entraînement. Nous menons des expériences étendues sur les jeux de données NTU RGB+D 60 et NTU RGB+D 120 afin de démontrer l’efficacité et la robustesse de la méthode JMDA sur plusieurs algorithmes de reconnaissance d’actions basés sur les squelettes couramment utilisés.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp