iLRM：一种迭代式大规模3D重建模型

前馈式3D建模已成为实现快速且高质量3D重建的有前景方法。特别是，直接生成显式3D表示（如3D高斯溅射）因其快速、高质量的渲染效果以及广泛的应用前景而受到广泛关注。然而，当前多数先进方法主要基于Transformer架构，存在严重的可扩展性问题，因其依赖于多视角输入图像中所有图像标记（image tokens）之间的全连接注意力机制，导致随着视角数量或图像分辨率的增加，计算成本急剧上升，难以实际应用。为实现可扩展且高效的前馈式3D重建，我们提出一种迭代式大型3D重建模型（Iterative Large 3D Reconstruction Model, iLRM），该模型通过迭代优化机制生成3D高斯表示，并遵循三项核心原则：（1）将场景表示与输入视角图像解耦，以实现紧凑的3D表示；（2）将全注意力多视角交互分解为两阶段注意力机制，显著降低计算开销；（3）在每一网络层中注入高分辨率信息，以实现高保真度的重建效果。在RE10K和DL3DV等广泛使用的基准数据集上的实验结果表明，iLRM在重建质量与速度方面均优于现有方法。尤为突出的是，iLRM展现出卓越的可扩展性，在相近计算成本下，通过高效利用更多输入视角，实现了显著更高的重建质量。