Command Palette
Search for a command to run...
플레이어원: 자기중심적 세계 시뮬레이터
플레이어원: 자기중심적 세계 시뮬레이터
Yuanpeng Tu Hao Luo Xi Chen Xiang Bai Fan Wang Hengshuang Zhao
초록
우리는 PlayerOne을 소개합니다. 이는 첫 번째 주관적 시점의 현실 세계 시뮬레이터로, 생동감 넘치는 환경에서 몰입적이고 제약 없는 탐색을 가능하게 합니다. 사용자가 제공한 주관적 시점의 장면 이미지를 바탕으로, PlayerOne은 해당 세계를 정확히 구성하고, 외부 카메라가 캡처한 사용자의 실제 동작과 엄격히 일치하는 주관적 시점의 비디오를 생성할 수 있습니다.PlayerOne은 대규모 주관적 시점의 텍스트-비디오 쌍에 대한 예비 학습(coarse-level egocentric understanding)을 먼저 수행한 후, 우리 자동 구축 파이프라인을 통해 추출된 주관적-외부 시점 비디오 데이터셋의 동기화된 운동-비디오 데이터(synchronous motion-video data)를 이용하여 미세 조정(finetuning)하는 거친 부분에서 세밀한 부분까지(gross-to-fine pipeline) 학습됩니다.또한, 다양한 구성 요소들의 상대적인 중요성을 고려하여, 우리는 부분적으로 분리된 운동 주입 방식(part-disentangled motion injection scheme)을 설계하였습니다. 이는 부분별 움직임에 대한 정밀한 제어를 가능하게 합니다. 또한, 4D 장면과 비디오 프레임을 점진적으로 모델링하는 공동 재구성 프레임워크(joint reconstruction framework)를 개발하여, 장시간 비디오 생성에서 장면 일관성을 보장합니다.실험 결과는 다양한 인간 움직임에 대한 정밀 제어와 다양한 시나리오에서 세계 일관성 모델링(world-consistent modeling of diverse scenarios) 능력에 있어 뛰어난 일반화 능력을 입증하였습니다. 이는 주관적 시점의 현실 세계 시뮬레이션에 대한 첫 번째 시도이며, 이 분야에서 새로운 전방위로의 연구와 그 다양한 응용 분야를 위한 길을 열 것입니다.