HyperAIHyperAI

Command Palette

Search for a command to run...

JoueurUn : Simulateur de Monde Égocentrique

Yuanpeng Tu Hao Luo Xi Chen Xiang Bai Fan Wang Hengshuang Zhao

Résumé

Nous présentons PlayerOne, le premier simulateur de monde réel égocentrique, facilitant une exploration immersive et sans restriction dans des environnements dynamiques et vivants. À partir d'une image de scène égocentrique fournie par l'utilisateur, PlayerOne peut construire avec précision le monde correspondant et générer des vidéos égocentriques strictement alignées sur les mouvements humains réels de l'utilisateur capturés par une caméra exocentrique. PlayerOne est formé dans un pipeline allant du grossier au fin, qui commence par une préformation sur de grandes échelles de paires texte-vidéo égocentriques pour une compréhension égocentrique de niveau grossier, suivie d'un affinage sur des données de mouvement-vidéo synchronisées extraites de jeux de données vidéo égocentrique-exocentrique grâce à notre pipeline de construction automatique. De plus, en tenant compte de l'importance variable des différents composants, nous avons conçu un schéma d'injection de mouvement dissocié par parties, permettant un contrôle précis des mouvements au niveau des parties. Nous avons également élaboré un cadre de reconstruction conjointe qui modèle progressivement à la fois la scène 4D et les images vidéo, garantissant la cohérence scénique dans la génération de vidéos longues. Les résultats expérimentaux démontrent sa grande capacité de généralisation dans le contrôle précis des mouvements humains variés et la modélisation cohérente du monde dans divers scénarios. Il marque la première tentative dans la simulation égocentrique du monde réel et peut ouvrir la voie à la communauté pour explorer de nouveaux horizons en matière de modélisation du monde et ses applications diverses.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
JoueurUn : Simulateur de Monde Égocentrique | Articles | HyperAI