단일 2K 해상도 이미지로부터 고충실도 3D 인간 디지털화

고품질 3D 인간 몸체 재구성은 고정밀 및 대규모 학습 데이터와 고해상도 입력 이미지를 효과적으로 활용하는 적절한 네트워크 설계가 필요합니다. 이러한 문제를 해결하기 위해, 우리는 간단하면서도 효과적인 3D 인간 디지털화 방법인 2K2K를 제안합니다. 이 방법은 대규모 2K 인간 데이터셋을 구축하고, 2K 해상도 이미지에서 3D 인간 모델을 추론합니다. 제안된 방법은 인간의 전반적인 형태와 그 세부 사항을 각각 복원합니다. 저해상도 깊이 네트워크는 저해상도 이미지에서 전반적인 구조를 예측하고, 부분별 이미지-노멀 네트워크는 3D 인간 몸체 구조의 세부 사항을 예측합니다. 고해상도 깊이 네트워크는 전반적인 3D 형태와 세부 구조를 결합하여 고해상도 앞면과 뒷면 깊이 맵을 추론합니다. 마지막으로, 오프더shelf 메시 생성기(Off-the-shelf mesh generator)를 사용하여 완전한 3D 인간 모델을 재구성하며, 이 모델들은 https://github.com/SangHunHan92/2K2K에서 제공됩니다. 또한, 연구 목적으로 텍스처 맵, 3D 관절, 그리고 SMPL 매개변수를 포함한 2,050개의 3D 인간 모델들을 제공합니다. 실험에서는 다양한 데이터셋에 대해 최근 연구들보다 경쟁력 있는 성능을 보임을 입증하였습니다.