ARCH: 옷을 입은 사람의 애니메이션화 가능한 재구성

본 논문에서는 ARCH (Animatable Reconstruction of Clothed Humans)라는 새로운 엔드투엔드 프레임워크를 제안합니다. 이 프레임워크는 단일 모노클로라 이미지로부터 애니메이션 준비가 완료된 3D 옷을 입은 사람의 정확한 재구성을 목표로 합니다. 기존의 3D 인간 디지털화 방법들은 자세 변동과 세부 정보 복원에 어려움을 겪으며, 또한 애니메이션 준비가 된 모델을 생성하지 못하는 경우가 많습니다. 반면, ARCH는 학습된 자세 인식 모델로, 제약 없이 단일 RGB 이미지에서 상세한 3D 릭(rig)이 적용된 전체 몸체 인간 아바타를 생성할 수 있습니다.파라미터화된 3D 몸체 추정기를 사용하여 의미 공간(Semantic Space)과 의미 변형 필드(Semantic Deformation Field)를 생성합니다. 이를 통해 2D/3D 옷을 입은 인간을 표준 공간(canonical space)으로 변환할 수 있어, 훈련 데이터에서 자세 변동과 가림(occlusion)으로 인해 발생하는 기하학적 모호성을 줄일 수 있습니다. 상세한 표면 기하학과 외관은 공간 로컬 특징(spatial local features)을 사용한 암시적 함수 표현(implicit function representation)을 통해 학습됩니다. 또한, 불투명도(opacity)를 고려한 미분 가능한 렌더링(differentiable rendering)을 사용하여 3D 재구성에 대한 픽셀별 추가 감독(per-pixel supervision)을 제안합니다.실험 결과, ARCH는 재구성된 인간의 충실도(fidelity)를 크게 향상시키는 것으로 나타났습니다. 공개 데이터셋에서 최신 방법들과 비교하여 표준 메트릭에 대한 재구성 오류가 50% 이상 낮아졌습니다. 또한, 문헌에서 아직 보지 못했던 여러 가지 고품질의 애니메이션 적용 가능한 재구성 아바타들의 정성적인 예들을 보여줍니다.