Hunyuan-GameCraft：混合历史条件的高动态交互式游戏视频生成

近期在基于扩散模型和可控视频生成方面的进展已经实现了高质量且时间连贯的视频合成，为沉浸式互动游戏体验奠定了基础。然而，当前的方法在动态性、通用性、长期一致性和效率方面仍存在局限，这限制了各种游戏视频的创作能力。为了弥补这些不足，我们提出了一种名为“Hunyuan-GameCraft”的新框架，用于游戏环境中的高动态互动视频生成。为了实现细粒度的动作控制，我们将标准的键盘和鼠标输入统一到一个共享的摄像机表示空间中，从而便于在不同的摄像机操作和移动操作之间进行平滑插值。接着，我们提出了一种混合历史条件训练策略，该策略能够在扩展视频序列的同时保留游戏场景信息。此外，为了提高推理效率和可玩性，我们通过模型蒸馏减少了计算开销，同时保持了长时间序列的一致性，使其适用于复杂互动环境中的实时部署。该模型在一个大规模数据集上进行了训练，该数据集包含来自超过100款AAA游戏的超过一百万条游戏录制视频，确保了广泛的覆盖范围和多样性；随后在精心标注的合成数据集上进行了微调，以增强精度和控制能力。经过策划的游戏场景数据显著提升了视觉保真度、真实感和动作可控性。大量实验表明，“Hunyuan-GameCraft”显著优于现有模型，在互动游戏视频生成的真实感和可玩性方面取得了重要进展。