4 days ago
OmniPart:具有语义解耦和结构凝聚意识的3D生成
Yunhan Yang, Yufan Zhou, Yuan-Chen Guo, Zi-Xin Zou, Yukun Huang, Ying-Tian Liu, Hao Xu, Ding Liang, Yan-Pei Cao, Xihui Liu

摘要
创建具有显式、可编辑部件结构的3D资产对于推进交互应用至关重要,然而大多数生成方法仅能产生单一的整体形状,限制了其应用范围。我们提出了一种名为OmniPart的新框架,该框架用于部件感知的3D对象生成,旨在在保持结构稳健性的同时实现组件之间的高语义解耦。OmniPart独特地将这一复杂任务分解为两个协同阶段:(1)自回归结构规划模块生成可控的、变长的3D部件边界框序列,该过程由灵活的2D部件掩模引导,允许用户直观地控制部件分解,而无需直接对应关系或语义标签;(2)空间条件下的修正流模型,从预训练的整体3D生成器高效适应而来,能够在计划布局内同时且一致地合成所有3D部件。我们的方法支持用户定义的部件粒度、精确的定位,并能够实现多样化的下游应用。广泛的实验表明,OmniPart达到了最先进的性能,为更具解释性、可编辑性和多功能性的3D内容铺平了道路。