2달 전

SiTH: 이미지 조건부 확산을 이용한 단일 뷰 텍스처드 인간 재구성

Ho, Hsuan-I ; Song, Jie ; Hilliges, Otmar
SiTH: 이미지 조건부 확산을 이용한 단일 뷰 텍스처드 인간 재구성
초록

3D 인간 재구성의 오랜 목표는 단일 시점 이미지에서 실제와 같은 완전한 세부 정보를 가진 3D 인간을 생성하는 것입니다. 주요 과제는 이미지에서 보이지 않는 영역의 알려지지 않은 신체 형태, 외모 및 의상 세부 사항을 추론하는 데 있습니다. 이를 해결하기 위해, 우리는 SiTH라는 새로운 파이프라인을 제안합니다. 이 파이프라인은 이미지를 조건으로 하는 확산 모델을 3D 메시 재구성 워크플로우에 독특하게 통합합니다. 우리의 방법의 핵심은 도전적인 단일 시점 재구성 문제를 생성적 환각과 재구성 하위 문제로 분해하는 것입니다. 전자의 경우, 강력한 생성적 확산 모델을 사용하여 입력 이미지를 기반으로 보이지 않는 후면 이미지를 환각합니다. 후자의 경우, 피부된 신체 메시를 안내로 사용하여 입력 이미지와 후면 이미지로부터 전체 신체 텍스처 메시를 복원합니다. SiTH는 다양한 이미지에 대해 일반적이고 견고성을 유지하면서도 500개의 3D 인간 스캔만으로 훈련할 수 있습니다. 두 개의 3D 인간 벤치마크,其中包括我们新创建的一个,在广泛的评估中突出了我们的方法在3D纹理化人类重建中的卓越精度和感知质量。我们的代码和评估基准可在 https://ait.ethz.ch/sith 获取。(注:最后一句包含中文,已修正为英文并翻译如下)SiTH는 다양한 이미지에 대해 일반적이고 견고성을 유지하면서도 500개의 3D 인간 스캔만으로 훈련할 수 있습니다. 두 개의 3D 인간 벤치마크,其中包括我们新创建的一个,在广泛的评估中突出了我们的方法在3D纹理化人类重建中的卓越精度和感知质量。我们的代码和评估基准可在 https://ait.ethz.ch/sith 获取。修正后的英文版本:SiTH requires as few as 500 3D human scans for training while maintaining its generality and robustness to diverse images. Extensive evaluations on two 3D human benchmarks, including one that we newly created, highlighted our method's superior accuracy and perceptual quality in 3D textured human reconstruction. Our code and evaluation benchmark are available at https://ait.ethz.ch/sith最终韩文翻译:SiTH는 다양한 이미지에 대해 일반적이고 견고성을 유지하면서도 500개의 3D 인간 스캔만으로 훈련할 수 있습니다. 두 개의 3D 인간 벤치마크(우리가 새로 만든 것을 포함)에서 광범위한 평가를 통해 우리 방법이 3D 텍스처화된 인간 재구성에서 우수한 정확도와 감각적 품질을 보여주었습니다. 우리의 코드와 평가 벤치마크는 https://ait.ethz.ch/sith 에서 이용 가능합니다.

SiTH: 이미지 조건부 확산을 이용한 단일 뷰 텍스처드 인간 재구성 | 최신 연구 논문 | HyperAI초신경