HyperAIHyperAI

Command Palette

Search for a command to run...

Un cadre contrastif au niveau des tokens pour la traduction de la langue des signes

Biao Fu Peigen Ye Liang Zhang Pei Yu Cong Hu Yidong Chen Xiaodong Shi

Résumé

La traduction de la langue des signes (SLT) est une technologie prometteuse pour combler le fossé de communication entre les personnes sourdes et les personnes entendantes. Récemment, les chercheurs ont adopté des méthodes de traduction automatique par réseaux neuronaux (NMT), qui nécessitent généralement de grandes corpora d’entraînement, afin de réaliser la SLT. Toutefois, les corpora publics disponibles pour la SLT sont très limités, ce qui entraîne une dégradation des représentations de tokens et une inexactitude des tokens générés. Pour atténuer ce problème, nous proposons ConSLT, un nouveau cadre d’apprentissage contrastif au niveau des tokens pour la traduction de la langue des signes, qui apprend des représentations de tokens efficaces en intégrant l’apprentissage contrastif au niveau des tokens dans le processus de décodage de la SLT. Plus précisément, ConSLT considère chaque token et son homologue généré par des masques de dropout différents comme une paire positive pendant le décodage, puis sélectionne aléatoirement KKK tokens dans le vocabulaire qui ne figurent pas dans la phrase courante pour former des exemples négatifs. Nous menons des expériences approfondies sur deux benchmarks (PHOENIX14T et CSL-Daily) dans les deux configurations end-to-end et en cascade. Les résultats expérimentaux démontrent que ConSLT permet d’obtenir une qualité de traduction supérieure aux modèles de référence performants.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp