GF-마인크래프트 게임 비디오 데이터 세트

GF-Minecraft 데이터 세트는 홍콩대학교와 콰이쇼우테크놀로지가 2025년에 공동으로 제작한 고품질 액션 주석 비디오 데이터 세트입니다. 주로 생성 게임 엔진 연구에 사용됩니다. 관련 논문 결과는 "GameFactory: 생성적 인터랙티브 비디오로 새로운 게임 만들기".

이 데이터 세트는 포괄적인 API, 다양한 오픈 월드 환경, 광범위한 액션 공간을 갖춘 Minecraft를 데이터 수집 플랫폼으로 사용합니다. 미리 정의된 무작위 액션 시퀀스를 실행하고 액션에 주석을 달아 70시간 분량의 게임 비디오를 수집했습니다. 다양성을 높이기 위해 3가지 생물군계(숲, 평야, 사막), 3가지 기상 조건(맑음, 비, 뇌우), 6가지 시간대(예: 일출, 정오, 자정)가 미리 구성되어 2,000개 이상의 비디오 클립을 생성합니다. 각 클립에는 2k 프레임이 포함되어 있으며 다중 모드 언어 모델인 MiniCPM-V가 생성한 텍스트 설명이 함께 제공됩니다.

이 데이터 세트는 동작 제어 비디오 생성을 위해 설계되었으며 다음 세 가지 핵심 요구 사항을 충족합니다.

1. 사용자 정의 가능한 작업: 대규모 저비용 데이터 수집을 용이하게 합니다.
2. 편견 없는 액션 시퀀스: 다양한 액션 조합과 낮은 확률의 사건에 대한 적용 범위를 보장합니다.
3. 다양한 시나리오: 특정 장면의 물리적 역학을 포착하기 위한 텍스트 설명이 포함되어 있습니다.