Magic3D：高分辨率文本到3D内容生成

DreamFusion 近期展示了预训练文本到图像扩散模型在优化神经辐射场（NeRF）方面的有效性，实现了令人瞩目的文本到3D合成效果。然而，该方法存在两个固有局限：（a）NeRF优化过程极为缓慢；（b）对NeRF的监督局限于低分辨率图像空间，导致生成的3D模型质量较低且处理时间过长。针对这些问题，本文提出一种两阶段优化框架。首先，利用低分辨率扩散先验获取粗略模型，并通过稀疏3D哈希网格结构加速优化过程。随后，以该粗略表示作为初始化，结合高效可微渲染器与高分辨率潜在扩散模型，进一步优化具有纹理的3D网格模型。我们提出的该方法命名为 Magic3D，可在40分钟内生成高质量的3D网格模型，速度比 DreamFusion（据报告平均耗时1.5小时）快约2倍，同时实现了更高分辨率。用户评测结果显示，61.7%的参与者更偏好我们的方法。结合图像条件生成能力，本方法为用户提供了全新的3D合成控制方式，为各类创意应用开辟了新的可能性。