HyperAIHyperAI

Command Palette

Search for a command to run...

HDBN : Un nouveau réseau hybride à double branche pour une reconnaissance d’actions basée sur la structure squelettique robuste

Jinfu Liu Baiqiao Yin Jiaying Lin Jiajun Wen Yue Li Mengyuan Liu

Résumé

La reconnaissance d’actions basée sur les squelettes a connu un intérêt croissant grâce à l’utilisation de représentations squelettiques concises et robustes. Toutefois, les méthodes actuelles ont tendance à s’appuyer sur un seul réseau principal (backbone) pour modéliser la modalité squelette, ce qui peut être limité par des défauts intrinsèques du réseau. Pour surmonter cette contrainte et exploiter pleinement les caractéristiques complémentaires des différentes architectures de réseaux, nous proposons un nouveau réseau hybride à deux branches (Hybrid Dual-Branch Network, HDBN) pour une reconnaissance d’actions basée sur les squelettes plus robuste. Ce modèle tire parti de la capacité des réseaux de convolution sur graphe (GCN) à traiter les données structurées en graphe, ainsi que des puissantes capacités de modélisation à longue portée des Transformers pour capturer des informations globales. Plus précisément, notre HDBN se compose de deux branches principales : MixGCN et MixFormer. Ces deux branches utilisent respectivement les GCN et les Transformers pour modéliser les modalités squelettiques 2D et 3D. Le modèle HDBN proposé s’est imposé parmi les meilleures solutions de la compétition Multi-Modal Video Reasoning and Analyzing (MMVRAC) du Grand Défi ICME 2024, atteignant des précisions de 47,95 % et 75,36 % sur deux benchmarks du jeu de données UAV-Human, surpassant la plupart des méthodes existantes. Le code source sera rendu public à l’adresse suivante : https://github.com/liujf69/ICMEW2024-Track10.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
HDBN : Un nouveau réseau hybride à double branche pour une reconnaissance d’actions basée sur la structure squelettique robuste | Articles | HyperAI