HyperAIHyperAI

Command Palette

Search for a command to run...

OadTR : Détection en ligne des actions avec des transformateurs

Xiang Wang; Shiwei Zhang; Zhiwu Qing; Yuanjie Shao; Zhengrong Zuo; Changxin Gao; Nong Sang

Résumé

Les approches les plus récentes pour la détection en ligne d'actions tendent à utiliser des Réseaux de Neurones Récurrents (RNN) afin de capturer la structure temporelle à long terme. Cependant, les RNN souffrent de problèmes de non-parallélisme et d'effacement du gradient, ce qui rend leur optimisation difficile. Dans cet article, nous proposons un nouveau cadre encodeur-décodeur basé sur les Transformers, nommé OadTR, pour résoudre ces problèmes. L'encodeur, associé à un jeton de tâche, vise à capturer les relations et les interactions globales entre les observations historiques. Le décodeur extrait des informations auxiliaires en agrégant les représentations anticipées des clips futurs. Ainsi, OadTR peut reconnaître les actions actuelles en encodant simultanément les informations historiques et en prédiction le contexte futur. Nous évaluons de manière extensive le OadTR proposé sur trois jeux de données difficiles : HDD, TVSeries et THUMOS14. Les résultats expérimentaux montrent que OadTR atteint des vitesses d'entraînement et d'inférence supérieures aux approches actuelles basées sur les RNN, et surpassent significativement les méthodes de pointe en termes de mAP et mcAP. Le code est disponible à l'adresse suivante : https://github.com/wangxiang1230/OadTR.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
OadTR : Détection en ligne des actions avec des transformateurs | Articles | HyperAI