HyperAIHyperAI

Command Palette

Search for a command to run...

Réseau SlowFast pour la reconnaissance continue de la langue des signes

Junseok Ahn Youngjoon Jang Joon Son Chung

Résumé

L'objectif de ce travail est l'extraction efficace des caractéristiques spatiales et dynamiques pour la reconnaissance continue des langues des signes (CSLR). Pour y parvenir, nous utilisons un réseau SlowFast à deux voies, où chaque voie opère à une résolution temporelle distincte afin de capturer séparément les informations spatiales (formes des mains, expressions faciales) et dynamiques (mouvements). En outre, nous introduisons deux méthodes de fusion de caractéristiques distinctes, soigneusement conçues pour les spécificités de la CSLR : (1) la fusion bidirectionnelle des caractéristiques (BFF), qui permet le transfert des sémantiques dynamiques vers les sémantiques spatiales et réciproquement ; et (2) l'amélioration des caractéristiques par voie (PFE), qui enrichit les représentations dynamiques et spatiales grâce à des sous-réseaux auxiliaires, sans toutefois nécessiter de temps d'inférence supplémentaire. En conséquence, notre modèle renforce parallèlement les représentations spatiales et dynamiques. Nous démontrons que le cadre proposé surpasser les performances actuelles de l'état de l'art sur des jeux de données populaires pour la CSLR, notamment PHOENIX14, PHOENIX14-T et CSL-Daily.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp