Matrix-Spiel: Interaktives Weltmodell der Grundlagen

Wir stellen Matrix-Game vor, ein interaktives Weltgrundmodell für die steuerbare Generierung von Spielwelten. Matrix-Game wird mit einem zweistufigen Pipeline trainiert, die zunächst eine groß angelegte unlabeled Vortrainung zur Umweltverstehensbildung durchführt und dann durch eine action-labeled Trainierung zur Generierung interaktiver Videos fortgesetzt wird. Um dies zu unterstützen, haben wir den umfassenden Minecraft-Datensatz Matrix-Game-MC zusammengestellt, der über 2.700 Stunden unlabeled Gameplay-Videos und über 1.000 Stunden hochwertiger labeled Clips mit detaillierten Tastatur- und Mausaktionen-Annotierungen umfasst.Unser Modell nutzt ein steuerbares Paradigma zur Bild-zu-Welt-Generierung, das auf einem Referenzbild, Bewegungskontext und Benutzeraktionen konditioniert ist. Mit mehr als 17 Milliarden Parametern ermöglicht Matrix-Game präzise Kontrolle über Charakteraktionen und Kamerabewegungen, während es gleichzeitig eine hohe visuelle Qualität und zeitliche Kohärenz gewährleistet. Zur Leistungsbewertung haben wir den GameWorld-Score entwickelt, einen einheitlichen Benchmark, der visuelle Qualität, zeitliche Qualität, Aktionsteuerbarkeit und das Verständnis physikalischer Regeln für die Generierung von Minecraft-Welten misst.Ausführliche Experimente zeigen, dass Matrix-Game in allen Metriken konsistent bessere Ergebnisse erzielt als bisherige Open-Source-Minecraft-Weltmodelle (wie Oasis und MineWorld), insbesondere in Bezug auf Steuerbarkeit und physikalische Konsistenz. Doppelblinde menschliche Bewertungen bestätigen zudem die Überlegenheit von Matrix-Game und unterstreichen seine Fähigkeit, wahrheitsgetreue und präzise steuerbare Videos in verschiedenen Spielszenarien zu generieren. Um zukünftige Forschungsarbeiten im Bereich der interaktiven Bild-zu-Welt-Generierung zu fördern, werden wir die Gewichte des Matrix-Game-Modells sowie den GameWorld-Score-Benchmark unter https://github.com/SkyworkAI/Matrix-Game öffentlich zugänglich machen.