Wonder3D：使用跨域扩散从单张图像生成3D模型

在本研究中，我们介绍了Wonder3D，这是一种从单视图图像高效生成高保真纹理网格的新方法。基于分数蒸馏采样（Score Distillation Sampling, SDS）的最新方法已经展示了从2D扩散先验恢复3D几何结构的潜力，但这些方法通常存在耗时的逐形状优化和几何结构不一致的问题。相比之下，某些工作通过快速网络推理直接生成3D信息，但其结果往往质量较低且缺乏几何细节。为了全面提高图像到3D任务的质量、一致性和效率，我们提出了一种跨域扩散模型，该模型可以生成多视角法线图及其对应的彩色图像。为确保一致性，我们采用了多视角跨域注意力机制，促进了不同视角和模态之间的信息交换。最后，我们引入了一种几何感知法线融合算法，从多视角2D表示中提取高质量表面。我们的大量评估表明，与先前的工作相比，我们的方法在高质量重建、稳健泛化和合理效率方面取得了显著成果。