Shen Sang Tiancheng Zhi Tianpei Gu Jing Liu Linjie Luo

Résumé

Nous présentons Lynx, un modèle à haute fidélité pour la synthèse vidéo personnalisée à partir d'une seule image d'entrée. Basé sur un modèle fondamental open-source de type Diffusion Transformer (DiT), Lynx introduit deux adaptateurs légers afin de garantir une fidélité d'identité optimale. L'adaptateur ID utilise un Perceiver Resampler pour transformer les embeddings faciaux issus d'ArcFace en tokens d'identité compacts, utilisés comme conditionnement. Quant à l'adaptateur Ref, il intègre des caractéristiques VAE denses provenant d'un chemin de référence gelé, injectant des détails fins à travers toutes les couches du transformer via une attention croisée. Ces modules, combinés, permettent une préservation robuste de l'identité tout en maintenant une cohérence temporelle et une réalisme visuel élevés. Sur une base d'évaluation soigneusement sélectionnée comprenant 40 sujets et 20 instructions neutres, menant à 800 cas de test, Lynx a démontré une ressemblance faciale supérieure, une capacité compétitive à suivre les instructions, ainsi qu'une qualité vidéo remarquable, contribuant ainsi à faire progresser l'état de l'art de la génération vidéo personnalisée.