Command Palette
Search for a command to run...
プレイヤーワン:自己中心的な世界シミュレーター
プレイヤーワン:自己中心的な世界シミュレーター
Yuanpeng Tu Hao Luo Xi Chen Xiang Bai Fan Wang Hengshuang Zhao
概要
私たちはPlayerOneを紹介します。これは初めてのエゴセントリックな現実世界シミュレーターで、鮮やかに動的な環境における没入感と制約のない探検を可能にします。ユーザーから提供されたエゴセントリックなシーン画像を基に、PlayerOneは対応する世界を正確に構築し、外部カメラで捉えられたユーザーのリアルな動きと厳密に対応したエゴセントリックなビデオを生成することができます。PlayerOneは、大規模なエゴセントリックなテキスト-ビデオペアを使用して粗いレベルでのエゴセントリック理解を行う前処理から始まり、その後、私たちが自動構築パイプラインで抽出したエゴセントリック-エクソセントリックビデオデータセットからの同期モーション-ビデオデータで微調整を行う粗いレベルから細かいレベルへのパイプラインで訓練されています。また、異なるコンポーネントの重要度が異なることを考慮し、部分的に分離されたモーション注入スキームを設計しました。これにより、部位レベルの動きを精密に制御することが可能になります。さらに、4Dシーンとビデオフレームの両方を段階的にモデル化する共同再構成フレームワークを開発しており、長尺ビデオ生成時のシーンの一貫性を確保しています。実験結果は、多様な人間の動きに対する精密な制御能力と、さまざまなシナリオにおける世界の一貫性モデリング能力において優れた汎化性能を示しています。これはエゴセントリックな現実世界シミュレーションへの最初の試みであり、コミュニティが世界モデリングとその多様な応用分野における新たなフロンティアを探求する道を開くことができます。