GF-Minecraft ゲームビデオデータセット

GF-Minecraft データセットは、2025 年に香港大学と Kuaishou Technology によって共同作成された高品質のアクション アノテーション ビデオ データセットです。主に生成ゲーム エンジンの研究に使用されています。関連する論文結果は「GameFactory: 生成されたインタラクティブ ビデオを使用して新しいゲームを作成する”。

このデータセットでは、包括的な API、多様なオープンワールド環境、広いアクション スペースを備えた Minecraft をデータ収集プラットフォームとして使用しています。あらかじめ定義されたランダムなアクション シーケンスを実行することで 70 時間のゲームプレイ ビデオが収集され、アクションの注釈が付けられました。多様性を高めるために、3 つのバイオーム (森林、平原、砂漠)、3 つの気象条件 (晴天、雨、雷雨)、および 6 つの時間帯 (日の出、正午、真夜中など) が事前設定されており、2,000 を超えるビデオ クリップが生成されます。各セグメントには 2k フレームが含まれており、マルチモーダル言語モデル MiniCPM-V によって生成されたテキスト記述が備えられています。

このデータセットは、モーション制御可能なビデオ生成用に特別に設計されており、次の 3 つの主要な要件を満たしています。

1. カスタマイズ可能なアクション: 大規模かつ低コストのデータ収集が容易になります。
2. 公平なアクションシーケンス: アクションの組み合わせの多様性と、低確率のイベントの範囲を確保します。
3. 多彩なシーン: 特定のシーンの物理的なダイナミクスをキャプチャするテキストの説明が含まれています。