DiffDreamer: 조건부 확산 모델을 이용한 일관된 비지도 단일 뷰 장면 외삽에 대한 연구

장면 외삽 -- 주어진 이미지로 새로운 시점을 생성하는 개념 --는 유망하지만 어려운 과제입니다. 각 예측 프레임마다 결합된 인페인팅과 3D 정교화 문제를 해결해야 하며, 이 문제는 불완전하고 높은 수준의 모호성을 포함합니다. 또한, 장거리 장면에 대한 학습 데이터를 얻기는 어렵고, 일반적으로 정확한 카메라 자세를 추론하기에 충분한 시점이 부족합니다. 우리는 DiffDreamer를 소개합니다. 이는 자연 풍경 이미지를 인터넷에서 수집하여 단독으로 학습하면서도 긴 카메라 궤적을 묘사하는 새로운 시점을 합성할 수 있는 비지도 프레임워크입니다. 안내된 노이즈 제거 단계의 확률적 특성을 활용하여, 우리는 투영된 RGBD 이미지를 정교화하도록 확산 모델을 학습시키지만, 추론을 위해 여러 과거 및 미래 프레임에 조건부로 노이즈 제거 단계를 수행합니다. 우리는 이미지 조건부 확산 모델이 GAN 기반 방법보다 일관성을 크게 유지하면서 효과적으로 장거리 장면 외삽을 수행할 수 있음을 보여줍니다. DiffDreamer는 감독이 제한적이더라도 인상적인 결과를 생성하는 강력하고 효율적인 장면 외삽 솔루션입니다. 프로젝트 페이지: https://primecai.github.io/diffdreamer.