HyperAIHyperAI

Command Palette

Search for a command to run...

DirecFormer : Une Approche d'Attention Dirigée dans les Transformateurs pour une Reconnaissance d'Actions Robuste

Thanh-Dat Truong Quoc-Huy Bui Chi Nhan Duong Han-Seok Seo Son Lam Phung Xin Li Khoa Luu

Résumé

La reconnaissance des actions humaines est devenue récemment l’un des sujets de recherche les plus populaires au sein de la communauté du traitement d’image. De nombreuses méthodes basées sur les réseaux de neurones convolutifs 3D (3D-CNN) ont été proposées afin de traiter à la fois les dimensions spatiale et temporelle dans la reconnaissance d’actions vidéo, obtenant des résultats compétitifs. Toutefois, ces approches souffrent de limitations fondamentales, telles qu’un manque de robustesse et de généralisation, par exemple : comment l’ordre temporel des cadres vidéo influence-t-il les résultats de reconnaissance ? Ce travail présente un nouveau cadre end-to-end basé sur les Transformers, appelé Directed Attention (DirecFormer), pour une reconnaissance d’actions robuste. La méthode adopte une approche simple mais originale fondée sur les Transformers afin de mieux comprendre l’ordre correct des séquences d’actions. Les contributions principales de ce travail sont donc triples. Premièrement, nous introduisons le problème de l’apprentissage temporel ordonné dans le contexte de la reconnaissance d’actions. Deuxièmement, nous proposons un nouveau mécanisme d’attention dirigée, capable de comprendre et d’attribuer des poids d’attention aux actions humaines dans le bon ordre. Troisièmement, nous introduisons une dépendance conditionnelle dans la modélisation des séquences d’actions, prenant en compte à la fois l’ordre et les classes d’actions. L’approche proposée atteint de manière cohérente des résultats de l’état de l’art (SOTA) par rapport aux méthodes récentes de reconnaissance d’actions sur trois benchmarks larges et standards : Jester, Kinetics-400 et Something-Something-V2.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp