HyperAI超神经
8 days ago

从一到多:用于3D生成的情境部分潜在变量

Shaocong Dong, Lihe Ding, Xiao Chen, Yaokun Li, Yuxin Wang, Yucheng Wang, Qi Wang, Jaehyeok Kim, Chenjian Gao, Zhanpeng Huang, Zibin Wang, Tianfan Xue, Dan Xu
从一到多:用于3D生成的情境部分潜在变量
摘要

近期在三维生成领域的进展已经从多视角二维渲染方法过渡到利用真实数据中的几何先验的三维本征潜在扩散框架。尽管取得了进展,但仍存在三个关键限制:(1)单潜在表示无法捕捉复杂的多部件几何结构,导致细节退化;(2)整体潜在编码忽略了对组合设计至关重要的部件独立性和相互关系;(3)全局条件机制缺乏细粒度的可控性。受人类三维设计工作流程的启发,我们提出了CoPart——一种基于部件感知的扩散框架,该框架通过将三维对象分解为上下文相关的部件潜在表示来实现连贯的多部件生成。这一范式提供了三个优势:i)通过部件分解降低编码复杂度;ii)支持显式的部件关系建模;iii)支持部件级别的条件控制。为进一步提高性能,我们开发了一种互导策略,用于微调预训练的扩散模型以进行联合部件潜在表示去噪,确保几何连贯性和基础模型先验的同时满足。为了支持大规模训练,我们构建了Partverse——一个从Objaverse通过自动网格分割和人工验证注释派生出的新颖三维部件数据集。大量实验表明,CoPart在部件级别编辑、关节物体生成和场景合成方面具有前所未有的可控性和卓越的能力。