HyperAIHyperAI

Command Palette

Search for a command to run...

플레이어원: 자기중심적 세계 시뮬레이터

Yuanpeng Tu Hao Luo Xi Chen Xiang Bai Fan Wang Hengshuang Zhao

초록

우리는 PlayerOne을 소개합니다. 이는 첫 번째 주관적 시점의 현실 세계 시뮬레이터로, 생동감 넘치는 환경에서 몰입적이고 제약 없는 탐색을 가능하게 합니다. 사용자가 제공한 주관적 시점의 장면 이미지를 바탕으로, PlayerOne은 해당 세계를 정확히 구성하고, 외부 카메라가 캡처한 사용자의 실제 동작과 엄격히 일치하는 주관적 시점의 비디오를 생성할 수 있습니다.PlayerOne은 대규모 주관적 시점의 텍스트-비디오 쌍에 대한 예비 학습(coarse-level egocentric understanding)을 먼저 수행한 후, 우리 자동 구축 파이프라인을 통해 추출된 주관적-외부 시점 비디오 데이터셋의 동기화된 운동-비디오 데이터(synchronous motion-video data)를 이용하여 미세 조정(finetuning)하는 거친 부분에서 세밀한 부분까지(gross-to-fine pipeline) 학습됩니다.또한, 다양한 구성 요소들의 상대적인 중요성을 고려하여, 우리는 부분적으로 분리된 운동 주입 방식(part-disentangled motion injection scheme)을 설계하였습니다. 이는 부분별 움직임에 대한 정밀한 제어를 가능하게 합니다. 또한, 4D 장면과 비디오 프레임을 점진적으로 모델링하는 공동 재구성 프레임워크(joint reconstruction framework)를 개발하여, 장시간 비디오 생성에서 장면 일관성을 보장합니다.실험 결과는 다양한 인간 움직임에 대한 정밀 제어와 다양한 시나리오에서 세계 일관성 모델링(world-consistent modeling of diverse scenarios) 능력에 있어 뛰어난 일반화 능력을 입증하였습니다. 이는 주관적 시점의 현실 세계 시뮬레이션에 대한 첫 번째 시도이며, 이 분야에서 새로운 전방위로의 연구와 그 다양한 응용 분야를 위한 길을 열 것입니다.


AI로 AI 구축

아이디어에서 출시까지 — 무료 AI 코코딩, 즉시 사용 가능한 환경, 최적의 GPU 가격으로 AI 개발을 가속화하세요.

AI 협업 코딩
바로 사용 가능한 GPU
최적의 가격

HyperAI Newsletters

최신 정보 구독하기
한국 시간 매주 월요일 오전 9시 에 이번 주의 최신 업데이트를 메일로 발송합니다
이메일 서비스 제공: MailChimp
플레이어원: 자기중심적 세계 시뮬레이터 | 문서 | HyperAI초신경