Hunyuan-GameCraft : Génération de Vidéos de Jeux Interactifs à Haute Dynamique avec des Conditions Historiques Hybrides

Les récentes avancées dans la génération de vidéos basée sur la diffusion et contrôlable ont permis la synthèse de vidéos de haute qualité et temporellement cohérentes, posant les bases d'expériences de jeu interactif immersives. Cependant, les méthodes actuelles rencontrent des limitations en termes de dynamisme, de généralité, de cohérence à long terme et d'efficacité, ce qui restreint la capacité de créer diverses vidéos de gameplay. Pour combler ces lacunes, nous présentons Hunyuan-GameCraft, un cadre novateur pour la génération vidéo interactive à haut dynamisme dans les environnements de jeu. Afin d'atteindre un contrôle d'action précis, nous unifions les entrées standard du clavier et de la souris dans un espace représentatif partagé de caméra, facilitant une interpolation fluide entre différentes opérations de caméra et de mouvement. Nous proposons ensuite une stratégie hybride d'entraînement conditionnée par l'historique qui prolonge les séquences vidéo autoregressivement tout en préservant les informations sur la scène du jeu. De plus, pour améliorer l'efficacité inférentielle et la jouabilité, nous réalisons une distillation du modèle afin de réduire le coût computationnel tout en maintenant la cohérence sur des séquences temporelles longues, rendant ainsi le modèle adapté au déploiement en temps réel dans des environnements interactifs complexes. Le modèle est formé sur un ensemble de données à grande échelle comprenant plus d'un million d'enregistrements de gameplay provenant de plus de 100 jeux AAA, assurant une couverture large et diversifiée, puis affiné sur un ensemble de données synthétiques soigneusement annoté pour améliorer la précision et le contrôle. Les données curatées des scènes de jeu améliorent considérablement la fidélité visuelle, le réalisme et le contrôle des actions. Des expérimentations approfondies montrent que Hunyuan-GameCraft surpass significativement les modèles existants, faisant progresser le réalisme et la jouabilité de la génération vidéo interactive pour les jeux.