HyperAIHyperAI

Command Palette

Search for a command to run...

Représentation d’image squelette pour la reconnaissance d’actions 3D basée sur une structure arborescente et des articulations de référence

Carlos Caetano François Brémond William Robson Schwartz

Résumé

Au cours des dernières années, la communauté de recherche en vision par ordinateur s’est intéressée à la modélisation des dynamiques temporelles dans les vidéos afin d’effectuer la reconnaissance d’actions humaines en 3D. À cette fin, deux approches de base ont été largement étudiées : (i) les réseaux de neurones récurrents (RNN) dotés de mémoire à court et long terme (LSTM) ; et (ii) les représentations squelettiques utilisées comme entrée d’un réseau de neurones convolutif (CNN). Bien que les approches basées sur les RNN obtiennent de très bons résultats, elles manquent de capacité à apprendre efficacement les relations spatiales entre les articulations du squelette. En revanche, les représentations utilisées pour alimenter les approches basées sur les CNN présentent l’avantage de posséder naturellement la capacité d’apprendre des informations structurelles à partir de tableaux bidimensionnels (c’est-à-dire d’extraire les relations spatiales entre les articulations du squelette). Pour améliorer davantage ces représentations, nous introduisons une nouvelle représentation squelettique appelée Image des articulations de référence en structure arborescente (TSRJI, Tree Structure Reference Joints Image), conçue pour être utilisée comme entrée dans les CNN. Cette représentation proposée présente l’avantage de combiner l’utilisation d’articulations de référence et d’une structure arborescente du squelette. Alors que les premières permettent de capturer différentes relations spatiales entre les articulations, la seconde préserve les relations spatiales importantes en parcourant l’arbre du squelette selon un algorithme d’exploration en profondeur. Les résultats expérimentaux démontrent l’efficacité de cette représentation pour la reconnaissance d’actions en 3D sur deux jeux de données, atteignant des performances de pointe sur le jeu de données récent NTU RGB+D~120.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Représentation d’image squelette pour la reconnaissance d’actions 3D basée sur une structure arborescente et des articulations de référence | Articles | HyperAI