HyperAIHyperAI

Command Palette

Search for a command to run...

TriSplat:仿真就绪的前馈式3D场景重建

Weijie Wang Zimu Li Jinchuan Shi Zeyu Zhang Botao Ye Marc Pollefeys Donny Y. Chen Bohan Zhuang

摘要

稀疏视角三维重建问题日益通过前馈泼溅网络来解决,这些网络直接从图像中预测显式基元。然而,大多数现有方法仍以高斯基元为中心,且仅间接地暴露表面:提取可用于下游仿真、物理推理或具身交互的可用网格,仍然需要昂贵的后处理步骤,这破坏了前馈方法的承诺。这种局限性在免姿态设置中尤为明显,在该设置中,场景结构和相机参数必须从稀疏观测中联合估计。我们提出了 TriSplat,这是一种前馈重建网络,它使用定向三角形基元表示场景,并直接从单次前向传播中导出可用于仿真的网格场景。给定输入图像,该网络预测局部三维点图、三角形属性、相机姿态以及可选的内参。与将三角形方向回归为无约束潜变量不同,我们的方法从预测的点图中构建几何法线,通过图像条件法线头对其进行细化,并将其转换为稳定的局部框架以进行三角形参数化。单法线引导训练策略进一步稳定了早期训练,而不透明度和模糊调度则逐渐锐化学习到的表面表示,以便直接提取网格。在 RealEstate10K 和 DL3DV 上的实验表明,与高斯前馈基线相比,这种表示法产生了更符合几何结构的重建结果,同时保持了具有竞争力的新视角渲染质量。由于渲染基元本身就是表面三角形,因此输出可以直接被物理引擎、碰撞检测器和标准渲染管线所接收,无需任何转换,使其成为前馈三维场景重建的一种实用的、可用于仿真的解决方案。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供