HyperAIHyperAI

Command Palette

Search for a command to run...

Apprentissage des styles individuels de gestes conversationnels

Shiry Ginosar Amir Bar Gefen Kohavi Caroline Chan Andrew Owens Jitendra Malik

Résumé

Le discours humain est souvent accompagné de gestes des mains et des bras. À partir d'une entrée audio de parole, nous générons des gestes plausibles qui s'accompagnent du son. Plus précisément, nous effectuons une traduction intermodale du discours monologique « en milieu naturel » d'un seul locuteur à leurs mouvements de mains et de bras. Nous formons notre modèle sur des vidéos non étiquetées pour lesquelles nous n'avons que des vérités terrain bruitées issues d'un système de détection automatique de la posture. Notre modèle proposé surpasse significativement les méthodes de base dans une comparaison quantitative. Pour soutenir la recherche visant à obtenir une compréhension computationnelle de la relation entre le geste et la parole, nous mettons à disposition un grand ensemble de données vidéo de gestes spécifiques à chaque personne. Le site web du projet, avec des vidéos, du code et des données, se trouve à l'adresse suivante : http://people.eecs.berkeley.edu/~shiry/speech2gesture .


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Apprentissage des styles individuels de gestes conversationnels | Articles | HyperAI