HyperAI超神経
17日前

Hunyuan-GameCraft: ハイブリッドな歴史条件を用いた高ダイナミックなインタラクティブゲームビデオ生成

Li, Jiaqi ; Tang, Junshu ; Xu, Zhiyong ; Wu, Longhuang ; Zhou, Yuan ; Shao, Shuai ; Yu, Tianbao ; Cao, Zhiguo ; Lu, Qinglin
Hunyuan-GameCraft: ハイブリッドな歴史条件を用いた高ダイナミックなインタラクティブゲームビデオ生成
要約

最近の拡散ベースおよび制御可能なビデオ生成技術の進歩により、高品質で時間的に一貫したビデオ合成が可能となり、没入型インタラクティブゲーム体験の基盤が築かれました。しかし、現行の手法は動態性、汎用性、長期的一貫性、効率性に限界があり、多様なゲームプレイビデオの作成能力を制限しています。これらの課題に対処するため、私たちはゲーム環境における高動態的なインタラクティブビデオ生成の新しいフレームワークであるHunyuan-GameCraft(フニュアン・ゲーマークラフト)を提案します。微細なアクション制御を実現するために、標準的なキーボードとマウスの入力を共有カメラ表現空間に統合し、さまざまなカメラ操作や移動操作間での滑らかな補間を容易にしました。次に、ゲームシーン情報を保ちつつビデオシーケンスを自己回帰的に延長するハイブリッド履歴条件付き学習戦略を提案します。さらに、推論効率とプレイ可能性を向上させるために、モデル蒸留を行い計算負荷を軽減しつつ長期的な時間シーケンス間の一貫性を維持し、複雑なインタラクティブ環境でのリアルタイム展開に適応させました。本モデルは100以上のAAAゲームから100万件以上のゲームプレイ録画データセットで大規模に学習され、広範囲かつ多様なカバレッジが確保されています。その後、精密さと制御性を向上させるために慎重にアノテーションされた合成データセットで微調整されました。選別されたゲームシーンデータは視覚的忠実度、リアリズムおよびアクション制御性を大幅に向上させています。多数の実験結果から明らかになったように、Hunyuan-GameCraft(フニュアン・ゲーマークラフト)は既存のモデルに対して著しく優れた性能を示し、インタラクティブゲームビデオ生成のリアリズムとプレイ可能性を大きく前進させています。