초록
우리는 단일 카메라로 촬영한 자가 회전 인간 영상에서 시공간 일관성 있는 형상을 복원하기 위해 암시적 표현과 명시적 표현을 결합한 옷을 입은 인간 신체 재구성 방법인 SelfRecon을 제안한다. 기존의 명시적 방법은 특정 시퀀스에 대해 미리 정의된 템플릿 메시를 필요로 하는 반면, 특정 주체에 대한 템플릿을 확보하는 것은 어려운 문제이다. 또한 고정된 토폴로지 구조는 재구성 정확도와 옷차림의 종류에 한계를 초래한다. 반면, 암시적 표현은 연속적인 성질 덕분에 임의의 토폴로지 구조를 지원하며 고해상도의 형상 표현이 가능하다. 그러나 여러 프레임의 정보를 통합하여 후속 응용을 위한 일관된 등록 시퀀스를 생성하는 것은 어려운 과제이다. 본 논문에서는 두 표현 방식의 장점을 융합하는 전략을 제안한다. 명시적 메시의 미분 가능 마스크 손실을 활용하여 일관된 전반적인 형상을 확보하고, 암시적 표면의 세부 정보는 미분 가능한 신경 렌더링을 통해 정교화한다. 동시에 명시적 메시는 주기적으로 갱신되어 형상의 토폴로지 변화에 적응하고, 두 표현 간의 일관성을 유지하기 위한 일관성 손실을 설계하였다. 기존의 방법들과 비교하여 SelfRecon은 자가지도 학습 최적화를 통해 임의의 옷을 입은 인간에 대해 고해상도의 표면을 생성할 수 있다. 실측 단일 카메라 영상에 대한 광범위한 실험 결과는 본 방법의 효과성을 입증한다. 소스 코드는 https://github.com/jby1993/SelfReconCode 에서 공개되어 있다.