HyperAIHyperAI

Command Palette

Search for a command to run...

Home Action Genome : Compréhension coopérative et compositionnelle des actions

Nishant Rai Haofeng Chen Jingwei Ji Rishi Desai Kazuki Kozuka Shun Ishizaka Ehsan Adeli Juan Carlos Niebles

Résumé

Les recherches existantes sur la reconnaissance d’actions traitent les activités comme des événements monolithiques se produisant dans des vidéos. Récemment, les avantages de formuler les actions comme une combinaison d’actions atomiques ont montré un réel potentiel pour améliorer la compréhension des actions, notamment avec l’émergence de jeux de données contenant de telles annotations, permettant d’apprendre des représentations capturant cette information. Toutefois, il manque encore des études qui étendent la composition d’actions et exploitent simultanément plusieurs points de vue et plusieurs modalités de données pour l’apprentissage de représentations. Afin de stimuler la recherche dans cette direction, nous introduisons Home Action Genome (HOMAGE) : un jeu de données d’actions multi-vues et multi-modales, enrichi d’étiquettes hiérarchiques d’activités et d’actions atomiques, ainsi que de labels détaillés de composition scénique. En exploitant un cadre riche en modalités et en points de vue, nous proposons CCAU (Cooperative Compositional Action Understanding), un cadre d’apprentissage coopératif pour la reconnaissance hiérarchique d’actions, prenant explicitement en compte les éléments composés des actions. CCAU montre des améliorations de performance constantes sur toutes les modalités. En outre, nous démontrons l’efficacité de l’apprentissage coopératif des compositions dans le cadre de la reconnaissance d’actions en peu d’exemples, en atteignant un mAP de 28,6 % avec seulement un échantillon.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp