2 个月前

SyncDreamer:从单视图图像生成多视图一致的图像

Yuan Liu; Cheng Lin; Zijiao Zeng; Xiaoxiao Long; Lingjie Liu; Taku Komura; Wenping Wang
SyncDreamer:从单视图图像生成多视图一致的图像
摘要

在本文中,我们提出了一种新的扩散模型,称为SyncDreamer,该模型可以从单视图图像生成多视图一致的图像。利用预训练的大规模2D扩散模型,最近的研究Zero123展示了从单个物体的单视图图像生成合理的新视角的能力。然而,生成图像在几何形状和颜色上保持一致性仍然是一个挑战。为了解决这一问题,我们提出了一种同步多视图扩散模型,该模型对多视图图像的联合概率分布进行建模,从而在单一反向过程中生成多视图一致的图像。SyncDreamer通过一种3D感知特征注意力机制(3D-aware feature attention mechanism),在反向过程的每一步同步所有生成图像的中间状态,该机制能够在不同视角之间关联相应的特征。实验结果表明,SyncDreamer生成的图像在不同视角下具有高度的一致性,因此非常适合用于各种3D生成任务,如新视角合成、文本到3D转换和图像到3D转换。