HyperAIHyperAI

Command Palette

Search for a command to run...

SA-DVAE : Amélioration de la reconnaissance d'actions basée sur le squelette en zero-shot par des autoencodeurs variationnels dissociés

Sheng-Wei Li Zi-Xiang Wei Wei-Jie Chen Yi-Hsin Yu Chih-Yuan Yang Jane Yung-jen Hsu

Résumé

Les méthodes actuelles de reconnaissance d'actions à partir de squelettes sans apprentissage supervisé (zero-shot) utilisent des réseaux de projection pour apprendre un espace latent partagé entre les caractéristiques squelettiques et les plongements sémantiques. L'imbalance inhérente aux jeux de données de reconnaissance d'actions, caractérisée par des séquences squelettiques variables mais des étiquettes de classe constantes, pose des défis significatifs pour l'alignement. Pour remédier à cette imbalance, nous proposons SA-DVAE -- Alignement Sémantique via Autoencodeurs Variationnels Dissociés (Disentangled Variational Autoencoders), une méthode qui adopte tout d'abord la dissociation des caractéristiques pour séparer les caractéristiques squelettiques en deux parties indépendantes : l'une liée à la sémantique et l'autre non liée, afin d'améliorer l'alignement entre les caractéristiques squelettiques et sémantiques. Nous mettons en œuvre cette idée au moyen d'un couple d'autoencodeurs variationnels spécifiques à chaque modalité, associés à une pénalité de correction totale. Nous menons des expériences sur trois jeux de données de référence : NTU RGB+D, NTU RGB+D 120 et PKU-MMD, et nos résultats expérimentaux montrent que SA-DVAE offre une meilleure performance par rapport aux méthodes existantes. Le code est disponible sur https://github.com/pha123661/SA-DVAE.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp