2달 전
SyncDreamer: 단일 뷰 이미지에서 다중 뷰 일관성 이미지 생성
Yuan Liu; Cheng Lin; Zijiao Zeng; Xiaoxiao Long; Lingjie Liu; Taku Komura; Wenping Wang

초록
본 논문에서는 단일 뷰 이미지에서 다중 뷰 일관성 이미지를 생성하는 새로운 확산 모델인 SyncDreamer를 제시합니다. 최근의 연구인 Zero123는 사전 학습된 대규모 2D 확산 모델을 사용하여 객체의 단일 뷰 이미지로부터 가능한 새로운 뷰를 생성할 수 있는 능력을 보여주었습니다. 그러나, 생성된 이미지에서 기하학적 구조와 색상의 일관성을 유지하는 것은 여전히 어려움이 있습니다. 이 문제를 해결하기 위해, 우리는 다중 뷰 확산 모델의 공동 확률 분포를 모델링하여 단일 역 프로세스에서 다중 뷰 일관성 이미지를 생성할 수 있는 동기화된 다중 뷰 확산 모델을 제안합니다. SyncDreamer는 3D 인식 특징 주의 메커니즘(3D-aware feature attention mechanism)을 통해 역 프로세스의 모든 단계에서 생성된 모든 이미지의 중간 상태를 동기화하며, 이 메커니즘은 서로 다른 뷰 간의 대응되는 특징들을 연관시킵니다. 실험 결과, SyncDreamer는 다양한 뷰 간에 높은 일관성을 가진 이미지를 생성하며, 이는 새로운 뷰 합성(novel-view-synthesis), 텍스트-3D 변환(text-to-3D), 이미지-3D 변환(image-to-3D) 등 다양한 3D 생성 작업에 적합함을 보여줍니다.