HyperAIHyperAI

Command Palette

Search for a command to run...

Kiss3DGen:将图像扩散模型重用于3D资产生成

Jiantao Lin Xin Yang Meixi Chen Yingjie Xu Dongyu Yan Leyi Wu Xinli Xu Lie XU Shunsi Zhang Ying-Cong Chen

摘要

扩散模型在生成二维图像方面已取得巨大成功。然而,三维内容生成的质量与泛化能力仍然受限。当前最先进的方法通常需要大规模的三维资产进行训练,而这些资产的收集极具挑战性。在本工作中,我们提出了Kiss3DGen(3D生成中的简洁与直接原则),这是一种高效的框架,通过复用已训练良好的二维图像扩散模型来实现三维物体的生成、编辑与增强。具体而言,我们对扩散模型进行微调,使其生成一种称为“三维图像包”(3D Bundle Image)的图像表示,该表示由多视角图像及其对应的法线图拼接而成。随后,利用法线图重建三维网格,多视角图像则用于提供纹理映射,从而构建出完整的三维模型。这一简洁方法将三维生成问题有效转化为二维图像生成任务,最大限度地利用了预训练扩散模型中的知识。此外,我们证明了Kiss3DGen模型可与多种扩散模型技术兼容,支持诸如三维编辑、网格与纹理增强等高级功能。通过大量实验,我们验证了该方法的有效性,展示了其高效生成高质量三维模型的能力。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供