HyperAIHyperAI

Command Palette

Search for a command to run...

EgoTwin : Corps et vue en première personne dans le rêve

Jingqiao Xiu Fangzhou Hong Yicong Li Mengze Li Wentao Wang Sirui Han Liang Pan Ziwei Liu

Résumé

Bien que la synthèse vidéo exocentrique ait connu d’importants progrès, la génération vidéo égocentrique reste largement sous-exploree, nécessitant la modélisation du contenu vu du point de vue première personne, ainsi que des motifs de mouvement de la caméra induits par les mouvements corporels du porteur. Pour combler ce fossé, nous introduisons une nouvelle tâche de génération conjointe de vidéos égocentriques et de mouvements humains, caractérisée par deux défis clés : 1) Alignement du point de vue : la trajectoire de la caméra dans la vidéo générée doit s’aligner précisément avec la trajectoire de la tête déduite du mouvement humain ; 2) Interaction causale : le mouvement humain synthétisé doit être causalement cohérent avec la dynamique visuelle observée entre cadres vidéo adjacents. Pour relever ces défis, nous proposons EgoTwin, un cadre de génération conjointe vidéo-mouvement basé sur une architecture de transformateur à diffusion. Plus précisément, EgoTwin introduit une représentation du mouvement centrée sur la tête, qui ancre le mouvement humain au joint de la tête, et met en œuvre un mécanisme d’interaction inspiré de la cybernétique, qui capte explicitement l’interaction causale entre vidéo et mouvement au sein des opérations d’attention. Pour une évaluation complète, nous avons constitué un grand ensemble de données réelles, composé de triplets synchronisés texte-vidéo-mouvement, et conçu de nouvelles métriques pour évaluer la cohérence entre vidéo et mouvement. Des expériences étendues démontrent l’efficacité du cadre EgoTwin.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp