
摘要
将三维物体重构为可编辑的程序,在逆向工程、形状编辑等应用中具有关键意义。然而,现有方法通常依赖于有限的领域特定语言(DSL)和小规模数据集,难以有效建模复杂的几何形状与结构。为应对这些挑战,我们提出 MeshCoder——一种新颖的框架,能够从点云数据中重构复杂三维物体,并生成可编辑的 Blender Python 脚本。我们开发了一套全面且表达能力强的 Blender Python API,可合成复杂的几何结构。基于这些 API,我们构建了一个大规模的配对物体-代码数据集,其中每个物体的代码均被分解为具有明确语义的组成部分。随后,我们训练了一个多模态大语言模型(LLM),实现从三维点云到可执行 Blender Python 脚本的自动转换。我们的方法不仅在形状到代码的重构任务中表现出卓越性能,还通过便捷的代码修改,支持直观的几何与拓扑编辑。此外,基于代码的表示形式显著提升了大语言模型在三维形状理解任务中的推理能力。综上,MeshCoder 为程序化三维形状重构与理解提供了一种强大而灵活的解决方案。