Wonder3D: 단일 이미지를 사용한 크로스 도메인 디퓨전을 통한 3D 생성

이 연구에서 우리는 단일 뷰 이미지로부터 고충실도 텍스처 메시를 효율적으로 생성하는 새로운 방법인 Wonder3D를 소개합니다. 최근 Score Distillation Sampling (SDS) 기반의 방법들은 2D 확산 사전으로부터 3D 기하학을 복원할 수 있는 잠재력을 보여주었지만, 일반적으로 형태별 최적화 과정이 시간 소모적이며 기하학 일관성이 부족한 문제를 겪고 있습니다. 반면, 일부 연구는 빠른 네트워크 추론을 통해 직접 3D 정보를 생성하지만, 결과가 종종 저품질이며 기하학적 세부 정보가 부족합니다. 이러한 문제들을 종합적으로 개선하기 위해, 우리는 다중 뷰 정규 맵과 해당 색상 이미지를 생성하는 크로스 도메인 확산 모델을 제안합니다. 일관성을 보장하기 위해, 우리는 뷰와 모달리티 간 정보 교환을 촉진하는 다중 뷰 크로스 도메인 주의 메커니즘을 사용합니다. 마지막으로, 고품질 표면을 다중 뷰 2D 표현에서 추출하는 기하학 인식 정규 융합 알고리즘을 소개합니다. 우리의 광범위한 평가는 이 방법이 이전 연구들에 비해 고품질 재구성 결과, 강건한 일반화 능력, 그리고 합리적인 효율성을 달성함을 입증하고 있습니다.