HyperAIHyperAI

Command Palette

Search for a command to run...

SyncDreamer:从单视图图像生成多视图一致的图像

Yuan Liu Cheng Lin Zijiao Zeng Xiaoxiao Long Lingjie Liu Taku Komura Wenping Wang

摘要

在本文中,我们提出了一种新的扩散模型,称为SyncDreamer,该模型可以从单视图图像生成多视图一致的图像。利用预训练的大规模2D扩散模型,最近的研究Zero123展示了从单个物体的单视图图像生成合理的新视角的能力。然而,生成图像在几何形状和颜色上保持一致性仍然是一个挑战。为了解决这一问题,我们提出了一种同步多视图扩散模型,该模型对多视图图像的联合概率分布进行建模,从而在单一反向过程中生成多视图一致的图像。SyncDreamer通过一种3D感知特征注意力机制(3D-aware feature attention mechanism),在反向过程的每一步同步所有生成图像的中间状态,该机制能够在不同视角之间关联相应的特征。实验结果表明,SyncDreamer生成的图像在不同视角下具有高度的一致性,因此非常适合用于各种3D生成任务,如新视角合成、文本到3D转换和图像到3D转换。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供