Junyoung Seo Rodrigo Mira Alexandros Haliassos Stella Bounareli Honglie Chen Linh Tran Seungryong Kim Zoe Landgraf Jie Shen

Résumé

Les modèles d'animation humaine pilotés par le son souffrent fréquemment d'un dérapage d'identité lors de la génération autoregressive temporelle, au cours de laquelle les personnages perdent progressivement leur identité au fil du temps. Une solution consiste à générer des images clés (keyframes) comme repères temporels intermédiaires afin d'éviter la dégradation, mais cela nécessite une étape supplémentaire de génération d'images clés et peut restreindre la dynamique naturelle des mouvements. Pour remédier à ce problème, nous proposons une méthode appelée Lookahead Anchoring, qui exploite des images clés provenant de pas de temps futurs situés en amont de la fenêtre de génération actuelle, plutôt que d'images clés internes à cette fenêtre. Cette approche transforme les images clés de bornes fixes en repères directionnels : le modèle poursuit continuellement ces cibles futures tout en réagissant aux signaux audio immédiats, assurant ainsi une préservation constante de l'identité grâce à une guidance persistante. Cette méthode permet également une auto-génération d'images clés, dans laquelle l'image de référence sert de cible de prédiction à venir, éliminant ainsi entièrement la nécessité de générer des images clés. Nous observons que la distance de prédiction temporelle contrôle naturellement l'équilibre entre expressivité et cohérence : des distances plus grandes permettent une plus grande liberté de mouvement, tandis que des distances plus courtes renforcent l'adhésion à l'identité. Appliquée à trois modèles récents d'animation humaine, la méthode Lookahead Anchoring obtient des performances supérieures en termes de synchronisation labiale, de préservation d'identité et de qualité visuelle, démontrant une amélioration de la conditionnalité temporelle sur plusieurs architectures différentes. Les résultats vidéo sont disponibles à l'adresse suivante : https://lookahead-anchoring.github.io.