Vid2Avatar: 비디오에서의 3D 아바타 재구성에 대한 자기 지도적 장면 분해

우리는 단일 시점의 자연 환경 동영상에서 인간 아바타를 학습하는 방법인 Vid2Avatar를 제시합니다. 단일 시점의 자연 환경 동영상에서 자연스럽게 움직이는 인간을 재구성하는 것은 어렵습니다. 이를 해결하기 위해서는 임의의 배경과 정확히 분리하는 것이 필요합니다. 또한, 짧은 비디오 시퀀스로부터 상세한 3D 표면을 재구성해야 하는데, 이는 더욱 어려운 문제입니다. 이러한 도전에도 불구하고, 우리의 방법은 옷을 입은 인간 스캔의 대규모 데이터셋으로부터 추출된 지도나 사전 정보를 요구하지 않으며, 외부 세그멘테이션 모듈에 의존하지 않습니다. 대신, 장면 내의 인간과 배경을 동시에 모델링하여 3D 공간에서 장면 분해와 표면 재구성을 직접 수행합니다. 이는 두 개의 별도 신경 필드를 통해 매개변수화됩니다. 구체적으로, 우리는 캐노니컬 공간에서 시간적으로 일관된 인간 표현을 정의하고, 배경 모델, 캐노니컬 인간 형태 및 텍스처, 그리고 프레임별 인간 자세 매개변수에 대한 전역 최적화를 공식화합니다. 동적인 인간과 정적인 배경을 깨끗하게 분리하기 위해 체적 렌더링에 대한 거칠기-정밀 샘플링 전략과 새로운 목적 함수가 소개되었습니다. 이로 인해 상세하고 견고한 3D 인간 기하학적 재구성이 가능해졌습니다. 우리는 공개된 데이터셋에서 우리의 방법을 평가하였으며, 기존 연구보다 향상된 결과를 보여주었습니다.