摘要
三维建模正从虚拟向物理世界过渡。现有的三维生成技术主要强调几何形状和纹理，而忽视了基于物理的建模。因此，尽管三维生成模型取得了快速发展，但合成的三维资产往往忽略了丰富且重要的物理属性，限制了其在物理仿真和具身人工智能（Embodied AI）等领域的实际应用。为了解决这一挑战，我们提出了PhysX，一种端到端的基于物理的三维资产生成范式。1) 为了填补物理学注释三维数据集中的关键空白，我们推出了PhysXNet——首个系统性注释五个基础维度的基于物理的三维数据集：绝对尺度、材料、可操作性、运动学和功能描述。特别是，我们设计了一种基于视觉-语言模型的人工参与注释流水线（human-in-the-loop annotation pipeline），该流水线能够高效地将原始三维资产转化为以物理属性为主的资产。2) 此外，我们提出了一种前馈框架PhysXGen，用于基于物理的图像到三维资产生成，将物理知识注入预训练的三维结构空间中。具体而言，PhysXGen采用双分支架构来显式建模三维结构与物理属性之间的潜在关联，从而生成具有合理物理预测的三维资产，同时保留原有的几何质量。大量实验验证了我们框架的优越性能和良好的泛化能力。所有代码、数据和模型都将对外发布，以促进未来在生成性物理AI领域的研究。