HyperAIHyperAI

Command Palette

Search for a command to run...

Contraste Prototypique et Prédiction Inverse : Reconnaissance d'Actions Non Supervisée Basée sur le Squelette

Shihao Xu Haocong Rao Xiping Hu Bin Hu

Résumé

Dans cet article, nous nous concentrons sur l'apprentissage non supervisé de représentations pour la reconnaissance d'actions basée sur les squelettes. Les approches existantes apprennent généralement des représentations d'actions par prédiction séquentielle, mais elles souffrent de l'incapacité à apprendre pleinement les informations sémantiques. Pour remédier à cette limitation, nous proposons un nouveau cadre nommé Prototypical Contrast and Reverse Prediction (PCRP), qui non seulement crée une prédiction séquentielle inverse pour apprendre des informations de bas niveau (par exemple, la posture corporelle à chaque image) et des modèles de haut niveau (par exemple, l'ordre du mouvement), mais aussi conçoit des prototypes d'actions pour encoder implicitement la similarité sémantique partagée entre les séquences. En général, nous considérons les prototypes d'actions comme des variables latentes et formulons PCRP comme une tâche d'espérance-maximisation. Plus précisément, PCRP fonctionne itérativement en exécutant (1) l'étape E consistant à déterminer la distribution des prototypes en regroupant l'encodage d'action provenant de l'encodeur, et (2) l'étape M consistant à optimiser l'encodeur en minimisant la perte ProtoMAE proposée, ce qui aide simultanément à rapprocher l'encodage d'action de son prototype assigné et à effectuer la tâche de prédiction inverse. De nombreuses expériences menées sur les jeux de données N-UCLA, NTU 60 et NTU 120 montrent que PCRP surpasse les méthodes non supervisées de pointe et atteint même des performances supérieures à certaines méthodes supervisées. Les codes sont disponibles sur https://github.com/Mikexu007/PCRP.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Contraste Prototypique et Prédiction Inverse : Reconnaissance d'Actions Non Supervisée Basée sur le Squelette | Articles | HyperAI