ARCH++: 애니메이션용 옷을 입힌 인간 재구성 재검토

우리는 이미지 기반 방법인 ARCH++를 제시하여 임의의 의상 스타일을 가진 3D 아바타를 재구성합니다. 우리의 재구성된 아바타는 입력 뷰에서 보이는 영역과 보이지 않는 영역 모두에서 애니메이션 준비가 되어 있으며 매우 사실적입니다. 이전 연구에서는 다양한 위상 구조를 가진 애니메이션 가능한 옷을 입은 사람들을 재구성하는 데 큰 가능성을 보여주었지만, 우리는 근본적인 한계가 최적의 재구성 품질을 방해한다는 것을 관찰하였습니다. 본 논문에서는 이미지 기반 아바타 재구성의 주요 단계를 다시 살펴보고, 이러한 한계를 ARCH++로 해결합니다.첫째, 우리는 기존의 수작업 특징을 대체하여 3D 인간 몸체의 의미를 더 잘 설명할 수 있는 엔드투엔드 포인트 기반 기하학 인코더를 도입합니다. 둘째, 캐노니컬 포즈에서 의상 착용자의 위상 변화로 인한 점유 불확실성을 해결하기 위해, 포즈 공간과 캐노니컬 공간에서 동시에 점유를 추정하는 크로스-스페이스 일관성을 갖춘 공동 감독 프레임워크를 제안합니다. 마지막으로, 이미지-이미지 변환 네트워크를 사용하여 재구성된 표면 상의 세부 기하학 및 텍스처를 더욱 정교하게 다듬어 임의의 시점 간에 충실도와 일관성을 개선합니다.실험에서는 공개 벤치마크와 사용자 연구에서 재구성 품질과 사실감 면에서 최신 연구보다 우수함을 입증하였습니다.