2달 전
Unique3D: 단일 이미지에서 고품질且高效的3D 메시 생성 注意:在韩文中,“且高效”通常会翻译为“및 효율적인”,以保持句子的流畅性和自然度。因此,更合适的翻译应该是: Unique3D: 단일 이미지에서 고품질 및 효율적인 3D 메시 생성
Kailu Wu; Fangfu Liu; Zhihan Cai; Runjie Yan; Hanyang Wang; Yating Hu; Yueqi Duan; Kaisheng Ma

초록
본 연구에서는 단일 시점 이미지에서 고품질의 3D 메시를 효율적으로 생성하는 새로운 이미지-3D 프레임워크인 Unique3D를 소개합니다. 이 프레임워크는 최신 수준의 생성 충실도와 강력한 일반화 능력을 특징으로 합니다. 기존의 Score Distillation Sampling(SDS) 기반 방법들은 대규모 2D 확산 모델로부터 3D 지식을 추출하여 다양한 3D 결과를 생성할 수 있지만, 보통 각 사례당 긴 최적화 시간과 일관성 문제를 겪었습니다. 최근 연구들은 이러한 문제를 해결하고, 다중 시점 확산 모델을 fine-tuning하거나 빠른 피드포워드 모델을 훈련시키는 방식으로 더 나은 3D 결과를 생성하였습니다. 그러나 여전히 일관성 부족과 제한된 생성 해상도로 인해 복잡한 질감과 기하학적 구조가 부족했습니다. 단일 이미지-3D에서 고충실도, 일관성, 효율성을 동시에 달성하기 위해, 우리는 다중 시점 확산 모델과 해당 정규 확산 모델을 포함하여 다중 시점 이미지와 그 정규 맵을 생성하고, 생성된 직교 다중 시점을 점진적으로 해상도를 개선하는 다단계 업스케일 과정, 그리고 색상과 기하학적 사전 정보를 완전히 메시 결과에 통합하는 즉각적이고 일관된 메시 재구성 알고리즘인 ISOMER(Instant and Consistent Mesh Reconstruction)를 제안합니다. 광범위한 실험 결과는 우리의 Unique3D가 기하학적 및 질감 세부사항 측면에서 다른 이미지-3D 베이스라인보다 크게 우수함을 입증하였습니다.