HyperAIHyperAI

Command Palette

Search for a command to run...

Multi-GAT : Une approche hiérarchique d’apprentissage représentationnel multimodal basée sur l’attention graphique pour la reconnaissance des activités humaines

Tariq Iqbal Md Mofijul Islam

Résumé

La reconnaissance des activités humaines constitue l’une des capacités essentielles dont doit disposer un robot pour être utile en présence d’humains. Bien que les robots modernes soient équipés de divers types de capteurs, la reconnaissance des activités humaines (HAR, Human Activity Recognition) reste un problème complexe, notamment en présence de données de capteurs bruitées. Dans ce travail, nous proposons une approche multimodale basée sur l’attention graphique, appelée Multi-GAT, qui apprend hiérarchiquement des caractéristiques complémentaires issues de différentes modalités. Nous avons conçu un modèle mixte à experts multimodaux afin de désentrelacer et d’extraire efficacement les caractéristiques spécifiques à chaque modalité, favorisant ainsi les interactions entre ces dernières. Par ailleurs, nous introduisons une nouvelle méthode d’attention graphique fondée sur le passage de messages, permettant de capturer les relations croisées entre modalités afin d’extraire des caractéristiques multimodales complémentaires. Les résultats expérimentaux obtenus sur deux jeux de données multimodaux d’activités humaines montrent que Multi-GAT surpasser tous les algorithmes d’HAR de pointe sur l’ensemble des jeux de données et des métriques testées. Enfin, les expériences réalisées avec des données de capteurs bruitées démontrent que Multi-GAT surpasse de manière cohérente tous les modèles de référence évalués. Cette robustesse démontre que Multi-GAT peut permettre une collaboration fluide entre humains et robots dans des environnements humains bruyants.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp