Résumé

Les effets visuels (VFX) jouent un rôle essentiel dans le pouvoir d’expression des médias numériques, mais leur création demeure un défi majeur pour l’intelligence artificielle générative. Les approches actuelles s’appuient souvent sur le paradigme « un LoRA par effet », qui est coûteux en ressources et fondamentalement incapable de généraliser à des effets inédits, limitant ainsi l’évolutivité et la créativité. Pour relever ce défi, nous introduisons VFXMaster, le premier cadre unifié et basé sur des références pour la génération de vidéos à effets visuels. Ce cadre réinterprète la génération d’effets comme une tâche d’apprentissage in-context, permettant de reproduire divers effets dynamiques à partir d’une vidéo de référence sur un contenu cible. De plus, il démontre une capacité remarquable de généralisation à des catégories d’effets inconnues. Plus précisément, nous proposons une stratégie d’encodage in-context qui sollicite le modèle à l’aide d’un exemple de référence. Un masque d’attention in-context est conçu pour délier précisément et injecter les attributs essentiels de l’effet, permettant à un seul modèle unifié de maîtriser l’imitation d’effets sans fuite d’information. En outre, nous proposons un mécanisme d’adaptation d’effet à une seule image (one-shot) efficace, qui améliore rapidement la capacité de généralisation sur des effets inédits difficiles à partir d’une seule vidéo fournie par l’utilisateur. Des expérimentations étendues montrent que notre méthode imite efficacement diverses catégories d’effets et présente une excellente généralisation aux effets hors domaine. Afin de stimuler la recherche future, nous mettrons à disposition, à la communauté, notre code source, nos modèles et un ensemble de données complet.