HyperAIHyperAI

Command Palette

Search for a command to run...

プレイヤーワン:自己中心的な世界シミュレーター

Yuanpeng Tu Hao Luo Xi Chen Xiang Bai Fan Wang Hengshuang Zhao

概要

私たちはPlayerOneを紹介します。これは初めてのエゴセントリックな現実世界シミュレーターで、鮮やかに動的な環境における没入感と制約のない探検を可能にします。ユーザーから提供されたエゴセントリックなシーン画像を基に、PlayerOneは対応する世界を正確に構築し、外部カメラで捉えられたユーザーのリアルな動きと厳密に対応したエゴセントリックなビデオを生成することができます。PlayerOneは、大規模なエゴセントリックなテキスト-ビデオペアを使用して粗いレベルでのエゴセントリック理解を行う前処理から始まり、その後、私たちが自動構築パイプラインで抽出したエゴセントリック-エクソセントリックビデオデータセットからの同期モーション-ビデオデータで微調整を行う粗いレベルから細かいレベルへのパイプラインで訓練されています。また、異なるコンポーネントの重要度が異なることを考慮し、部分的に分離されたモーション注入スキームを設計しました。これにより、部位レベルの動きを精密に制御することが可能になります。さらに、4Dシーンとビデオフレームの両方を段階的にモデル化する共同再構成フレームワークを開発しており、長尺ビデオ生成時のシーンの一貫性を確保しています。実験結果は、多様な人間の動きに対する精密な制御能力と、さまざまなシナリオにおける世界の一貫性モデリング能力において優れた汎化性能を示しています。これはエゴセントリックな現実世界シミュレーションへの最初の試みであり、コミュニティが世界モデリングとその多様な応用分野における新たなフロンティアを探求する道を開くことができます。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています