Yinglin Duan Zhengxia Zou Tongwei Gu Wei Jia Zhan Zhao et al

要約

近年、複雑な現実世界のシナリオをシミュレートする3D世界モデルの開発に向けた研究がますます注目を集めている。世界モデルは、エンボディドAIや自律走行車、エンターテインメントなど、多岐にわたる分野で広範な応用が見られている。正確な物理法則を反映したより現実的なシミュレーションは、「シミュレーションから現実へのギャップ（sim-to-real gap）」を効果的に縮小し、現実世界に関する豊富な情報を便利に収集する手段として有効である。従来の手動によるモデリングにより仮想3Dシーンの作成は可能であったが、近年のアプローチでは高度な機械学習アルゴリズムを活用した3D世界生成が進展しており、特にユーザーの指示に基づいて仮想世界を生成できる生成モデルが主流となっている。本研究では、このような研究方向性を追求し、3D環境の産業的生産プロセスを効率化するシンプルかつ効果的な3D世界生成フレームワーク「LatticeWorld」を提案する。LatticeWorldは、軽量な大規模言語モデル（LLaMA-2-7B）と業界標準のレンダリングエンジン（例：Unreal Engine 5）を組み合わせ、動的な環境を生成する。本フレームワークは、テキスト記述と視覚的指示をマルチモーダル入力として受け取り、動的なエージェントを備えた大規模な3Dインタラクティブ世界を構築可能であり、競争的なマルチエージェント相互作用、高精度な物理シミュレーション、リアルタイムレンダリングを実現している。LatticeWorldの性能評価として包括的な実験を実施した結果、シーンレイアウト生成の精度および視覚的忠実度において優れた性能を達成した。さらに、従来の手動プロセスと比較して、生産効率は大幅に向上（100%以上）しつつも、高い創造性を維持している。デモ動画は以下のURLからご覧いただけます。