복잡한 자세 하에서 단일 뷰 3D 신체 및 옷 재구성

단일 이미지에서 3D 인간 형태를 재구성하는 기술은 최근 급속한 발전을 보이고 있으며, 공간 내 임의로 밀도 높은 3D 점들의 존재 여부(occupancy status)를 모델링하는 '암묵적 함수(implicit function)'를 활용한 딥 네트워크의 도입으로 놀라운 성과를 거두고 있다. 그러나 현재 이 패러다임을 기반으로 한 알고리즘(예: PiFuHD)은 인간의 형태와 옷차림의 정밀한 기하학적 구조를 추정할 수는 있으나, 고해상도 입력 이미지가 필요하며, 복잡한 신체 자세를 정확히 포착하지 못하는 한계를 지닌다. 대부분의 학습 및 평가 작업은 중립적인 자세로 카메라 앞에 서 있는 인간의 1k 해상도 이미지에서 수행된다. 본 논문에서는 공개된 데이터를 활용하여 기존의 암묵적 함수 기반 모델을 확장하여, 임의의 자세와 자기 음영을 포함한 인간 이미지에 대한 처리가 가능하도록 한다. 우리는 암묵적 함수의 표현 능력이 기하학적 세부 정보와 신체 자세를 동시에 정확히 모델링하는 데는 충분하지 않다고 주장한다. 따라서 우리는 먼저 입력 이미지로부터 저해상도의 세부 정보를 가지되, 복잡한 자세에도 불구하고 정확한 인간 자세를 반영하는 3D 신체 형태를 매핑하는 암묵적 함수를 학습한다. 그 후, 부드러운 표면과 입력 이미지에 조건부로 설정된 변위 맵(Displacement Map)을 학습하여 옷차림과 신체의 고주파 세부 정보를 인코딩한다. 실험 결과, 이 계층적(코어스 투 파인, coarse-to-fine) 전략은 형태의 세부 정보와 자세의 정확성 사이에서 매우 우수한 균형을 제공함을 보여주며, 최신의 최첨단 기법들과 비교하여 유리한 성능을 나타낸다. 본 연구의 코드는 공개될 예정이다.