Apprentissage des styles individuels de gestes conversationnels

Le discours humain est souvent accompagné de gestes des mains et des bras. À partir d'une entrée audio de parole, nous générons des gestes plausibles qui s'accompagnent du son. Plus précisément, nous effectuons une traduction intermodale du discours monologique « en milieu naturel » d'un seul locuteur à leurs mouvements de mains et de bras. Nous formons notre modèle sur des vidéos non étiquetées pour lesquelles nous n'avons que des vérités terrain bruitées issues d'un système de détection automatique de la posture. Notre modèle proposé surpasse significativement les méthodes de base dans une comparaison quantitative. Pour soutenir la recherche visant à obtenir une compréhension computationnelle de la relation entre le geste et la parole, nous mettons à disposition un grand ensemble de données vidéo de gestes spécifiques à chaque personne. Le site web du projet, avec des vidéos, du code et des données, se trouve à l'adresse suivante : http://people.eecs.berkeley.edu/~shiry/speech2gesture .