Hunyuan-GameCraft: Generierung hochdynamischer interaktiver Spielvideos mit hybrider Historiebedingung

Kürzliche Fortschritte bei diffusionsbasierten und steuerbaren Video-Generierungsmethoden haben es ermöglicht, hochwertige und zeitlich konsistente Videosynthesen zu erzeugen, was die Grundlage für immersiv interaktive Gaming-Erlebnisse legt. Dennoch stoßen aktuelle Methoden an Grenzen hinsichtlich Dynamik, Allgemeingültigkeit, Langzeitkonsistenz und Effizienz, die die Fähigkeit einschränken, verschiedene Gameplay-Videos zu erstellen. Um diese Lücken zu schließen, stellen wir Hunyuan-GameCraft vor, einen neuen Rahmen für hochdynamische interaktive Videogenerierung in Spielumgebungen. Um eine feingranulare Aktionsteuerung zu erreichen, vereinigen wir Standard-Tastatur- und Mauseingaben in einem gemeinsamen Kameraspezialraum, was eine glatte Interpolation zwischen verschiedenen Kamera- und Bewegungsoperationen erleichtert. Anschließend schlagen wir eine hybride geschichtsbedingte Trainingsstrategie vor, die Videosequenzen autoregressiv verlängert, während sie Informationen über den Spielszene beibehält. Zudem verbessern wir die Inferenzeffizienz und Spielbarkeit durch Modell-Distillation, um den Rechenaufwand zu reduzieren und gleichzeitig die Konsistenz über lange zeitliche Sequenzen aufrechtzuerhalten, wodurch es sich für Echtzeitanwendungen in komplexen interaktiven Umgebungen eignet. Das Modell wird auf einem groß angelegten Datensatz trainiert, der mehr als eine Million Gameplay-Aufzeichnungen aus über 100 AAA-Spielen umfasst, um eine breite Abdeckung und Vielfalt sicherzustellen. Es wird dann anhand eines sorgfältig annotierten synthetischen Datensatzes weiter angepasst, um Präzision und Steuerbarkeit zu erhöhen. Die kurierte Spieldatenszene verbessert die visuelle Treuegradigkeit (visual fidelity), Realismus und Aktionsteuerbarkeit erheblich. Ausführliche Experimente zeigen, dass Hunyuan-GameCraft bestehende Modelle deutlich übertreffen kann und somit den Realismus und die Spielbarkeit der interaktiven Videogenerierung im Gaming-Bereich vorantreibt.