SIFU: 측면 뷰 조건부 암시적 함수를 이용한 실제 환경에서 활용 가능한 옷을 입은 인간 재구성

단일 이미지에서 옷을 입은 인간의 고품질 3D 모델을 생성하는 것은 실제 응용 분야에서 매우 중요합니다. 최근의 발전에도 불구하고, 야외 환경에서 복잡한 자세나 느슨한 옷을 입은 사람들을 정확하게 재구성하고, 보이지 않는 영역의 텍스처를 예측하는 것은 여전히 큰 도전과제입니다. 이전 방법들의 주요 제한점은 2D에서 3D로 전환하고 텍스처 예측 과정에서 충분하지 않은 사전 가이드입니다. 이를 해결하기 위해, 우리는 SIFU (Side-view Conditioned Implicit Function for Real-world Usable Clothed Human Reconstruction)라는 새로운 접근 방식을 소개합니다. SIFU는 사이드 뷰 디커플링 트랜스포머와 3D 일관성 텍스처 정교화 파이프라인을 결합한 방법입니다.SIFU는 트랜스포머 내부에 크로스 어텐션 메커니즘을 사용하여 SMPL-X 법선 벡터를 쿼리로 활용해 2D 특징을 3D로 매핑하는 과정에서 효과적으로 사이드 뷰 특징을 분리합니다. 이 방법은 SMPL-X 추정치가 완벽하지 않은 경우에도 3D 모델의 정밀도와 견고성을 개선합니다. 우리의 텍스처 정교화 과정은 텍스트-이미지 확산 기반 사전 지식(text-to-image diffusion-based prior)을 활용하여 보이지 않는 시점에 대해 실감나고 일관된 텍스처를 생성합니다.대규모 실험 결과, SIFU는 기하학적 구조와 텍스처 재구성 모두에서 최신 기술(SOTA) 방법들을 능가하며, 특히 복잡한 상황에서 견고성이 크게 향상되고 새로운 차원의 Chamfer 및 P2S 측정값을 달성했습니다. 우리의 접근 방식은 3D 프린팅과 장면 구축 등 실제 응용 분야로 확장되며, 실제 환경에서 광범위한 활용성을 입증하였습니다. 프로젝트 페이지: https://river-zhang.github.io/SIFU-projectpage/ .