PaMIR: 이미지 기반 인간 재구성의 매개변수 모델 조건부 암시적 표현

단일 이미지에서 정확하고 강건한 3D 인간 모델링은 매우 어려운 문제이며, 이러한 불안정한 문제의 핵심은 인간 모델의 3D 표현에 있습니다. 일반적인 3D 표현의 한계를 극복하기 위해, 우리는 매개변수화된 신체 모델과 자유형식의 딥 임PLICIT 함수를 결합하는 매개변수화된 모델 조건부 임PLICIT 표현 (PaMIR)을 제안합니다.우리의 PaMIR 기반 재구성 프레임워크에서는 매개변수화된 모델의 의미론적 특성을 사용하여 자유형식의 딥 임PLICIT 함수를 규제하는 새로운 딥 뉴럴 네트워크가 제안되었습니다. 이는 도전적인 자세와 다양한 의상 구조에서 일반화 능력을 향상시키는데 기여합니다. 또한, 깊이 애매함을 인식하는 새로운 훈련 손실이 통합되어 깊이 애매함을 해결하고 불완전한 신체 참조에서도 성공적인 표면 세부 재구성을 가능하게 합니다.마지막으로, 우리는 매개변수화된 모델 추정 정확도를 개선하고 매개변수화된 모델과 임PLICIT 함수 간의 일관성을 강화하기 위한 신체 참조 최적화 방법을 제안합니다. PaMIR 표현을 통해 우리의 프레임워크는 다중 이미지 입력 시나리오로 쉽게 확장될 수 있으며, 다중 카메라 캘리브레이션과 자세 동기화가 필요하지 않습니다. 실험 결과, 우리의 방법은 도전적인 자세와 의상 유형에서 이미지 기반 3D 인간 재구성에 있어 최신 연구 성과를 달성하였음을 보여줍니다.