Der GF-Minecraft-Datensatz ist ein hochwertiger, mit Action annotierter Videodatensatz, der 2025 gemeinsam von der Universität Hongkong und Kuaishou Technology erstellt wurde. Er wird hauptsächlich für die Erforschung generativer Spiel-Engines verwendet. Die entsprechenden Ergebnisse der Studie sind „GameFactory: Neue Spiele mit generativen interaktiven Videos erstellen".

Der Datensatz verwendet Minecraft aufgrund seiner umfassenden API, der vielfältigen Open-World-Umgebung und des umfangreichen Aktionsraums als Datenerfassungsplattform. Durch die Ausführung vordefinierter zufälliger Aktionssequenzen und die Kommentierung der Aktion wurden 70 Stunden Spielvideos gesammelt. Um die Vielfalt zu erhöhen, sind 3 Biome (Wald, Ebene, Wüste), 3 Wetterbedingungen (klar, regnerisch, Gewitter) und 6 Zeiträume (z. B. Sonnenaufgang, Mittag, Mitternacht) vorkonfiguriert, wodurch mehr als 2.000 Videoclips generiert werden. Jeder Clip enthält 2.000 Frames und wird von einer Textbeschreibung begleitet, die vom multimodalen Sprachmodell MiniCPM-V generiert wird.

Dieser Datensatz ist für die bewegungsgesteuerte Videogenerierung konzipiert und erfüllt die folgenden drei Hauptanforderungen:

1. Anpassbare Aktionen: Ermöglicht die groß angelegte und kostengünstige Datenerfassung.
2. Unvoreingenommene Action-Sequenz: Stellen Sie die Vielfalt der Aktionskombinationen und die Abdeckung von Ereignissen mit geringer Wahrscheinlichkeit sicher.
3. Vielfältige Szenarien: Enthält Textbeschreibungen, um die physikalische Dynamik einer bestimmten Szene zu erfassen.