Motion2Language, apprentissage non supervisé de la segmentation sémantique de mouvement synchronisée

Dans cet article, nous examinons la construction d'une architecture séquence à séquence pour la traduction et la synchronisation du mouvement vers le langage. L'objectif est de traduire les entrées de capture de mouvement en descriptions naturelles en anglais, de manière à ce que ces descriptions soient générées simultanément avec les actions effectuées, permettant ainsi une segmentation sémantique comme sous-produit, sans nécessiter des données d'entraînement synchronisées. Nous proposons une nouvelle formulation récurrente de l'attention locale qui convient à la génération de texte synchrone/temps réel, ainsi qu'une architecture améliorée du codificateur de mouvement mieux adaptée aux petits ensembles de données et à la génération synchrone. Nous évaluons ces deux contributions dans des expériences individuelles, en utilisant la métrique standard BLEU4 ainsi qu'une mesure simple d'équivalence sémantique, sur le jeu de données KIT motion language. Dans une expérience ultérieure, nous évaluons la qualité de la synchronisation du texte généré par nos approches proposées à travers plusieurs métriques d'évaluation. Nous constatons que les deux contributions au mécanisme d'attention et à l'architecture du codificateur améliorent additivement non seulement la qualité du texte généré (BLEU et équivalence sémantique), mais aussi celle de la synchronisation.Notre code est disponible à l'adresse suivante : https://github.com/rd20karim/M2T-Segmentation/tree/main