PIFu: 고해상도 옷을 입은 사람의 디지털화를 위한 픽셀 정렬 암시 함수

우리는 픽셀 정렬 암시적 함수(Pixel-aligned Implicit Function, PIFu)를 소개합니다. 이는 2D 이미지의 픽셀을 해당 3D 객체의 전역 컨텍스트와 로컬로 정렬하는 매우 효과적인 암시적 표현입니다. PIFu를 사용하여, 우리는 단일 이미지에서 3D 표면과 텍스처를 추론할 수 있으며, 선택적으로 여러 입력 이미지를 사용하여 매우 상세한 옷을 입은 인간의 디지털화를 위한 엔드투엔드 딥러닝 방법을 제안합니다. 헤어스타일, 의상 등과 같은 복잡한 형태와 그 변형 및 변위가 통합된 방식으로 디지털화될 수 있습니다.기존의 3D 딥러닝에 사용되는 표현들과 비교했을 때, PIFu는 사람이 보이지 않는 부분(예: 뒷부분)과 같은 대규모 미확인 영역까지 포함하는 고해상도 표면을 생성할 수 있습니다. 특히, 복셀 표현과 달리 메모리 효율적이며 임의의 위상 구조를 처리할 수 있으며, 결과 표면이 입력 이미지와 공간적으로 정렬됩니다. 또한 이전 기술들이 단일 이미지 또는 다중 뷰 중 하나만 처리하도록 설계된 반면, PIFu는 자연스럽게 임의의 수의 뷰를 확장할 수 있습니다.우리는 DeepFashion 데이터셋에서 실제 세계 이미지를 사용하여 고해상도 및 강건한 재구성을 시연합니다. 이 데이터셋은 다양한 도전적인 의상 유형을 포함하고 있습니다. 우리의 방법은 공개 벤치마크에서 최고 성능을 달성하며, 단일 이미지를 통해 옷을 입은 인간의 디지털화에서 이전 연구보다 우수한 성능을 보여줍니다.