GF-Minecraft 游戏视频数据集

GF-Minecraft 数据集是由香港大学和快手科技于 2025 年联合创建的高质量动作标注视频数据集，主要用于生成式游戏引擎的研究，相关论文成果为「GameFactory: Creating New Games with Generative Interactive Videos」。

数据集使用 Minecraft 作为数据收集平台，因其全面的 API 、多样化的开放世界环境和广泛的动作空间。通过执行预定义的随机动作序列，收集了 70 小时的游戏视频，并进行了动作注释。为了增强多样性，预配置了 3 种生物群落（森林、平原、沙漠）、 3 种天气条件（晴朗、雨天、雷暴）和 6 种时间段（例如日出、中午、午夜），生成了超过 2k 个视频片段。每个片段包含 2k 帧，并配有由多模态语言模型 MiniCPM-V 生成的文本描述。

该数据集专为动作可控的视频生成设计，满足以下 3 个关键要求：

1. 可定制的动作：便于大规模、低成本数据收集。
2. 无偏的动作序列：确保动作组合的多样性和低概率事件的覆盖。
3. 多样化的场景：包含文本描述，以捕捉特定场景的物理动态。