PIFuHD: 고해상도 3D 인간 디지털화를 위한 다단계 픽셀 정렬 암시 함수

최근 이미지 기반 3D 인간 형태 추정 분야의 발전은 딥 뉴럴 네트워크의 표현 능력이 크게 향상됨에 따라 이루어졌습니다. 현재 접근 방식들은 실제 환경에서 잠재력을 보여주고 있지만, 여전히 입력 이미지에 종종 포함된 세부 수준의 재구성을 생성하는 데 실패하고 있습니다. 우리는 이 제한이 주로 두 가지 상충되는 요구사항에서 비롯된다고 주장합니다. 정확한 예측을 위해서는 큰 맥락이 필요하지만, 정밀한 예측을 위해서는 고해상도가 필요합니다. 현재 하드웨어의 메모리 제한으로 인해, 이전 접근 방식들은 큰 공간적 맥락을 포괄하기 위해 저해상도 이미지를 입력으로 사용하여 덜 정밀하거나 저해상도의 3D 추정치를 생성하는 경향이 있었습니다. 우리는 이 제한을 해결하기 위해 엔드투엔드 학습이 가능한 다단계 아키텍처를 설계하였습니다. 저해상도에서 전체 이미지를 관찰하며 전반적인 추론에 초점을 맞추는 코스 단계가 있으며, 이를 바탕으로 고해상도 이미지를 관찰하여 매우 세부적인 기하학을 추정하는 파인 단계가 있습니다. 우리는 1k 해상도 입력 이미지를 완전히 활용함으로써, 단일 이미지 인간 형태 재구성 분야에서 기존 최신 기술들을 크게 능가한다는 것을 입증하였습니다.