UniK3D：通用相机单目三维估计

单目三维估计在视觉感知中具有关键作用。然而，现有方法受限于过于简化的假设，例如依赖针孔相机模型或校正后的图像，这些局限性严重制约了其在现实场景中的通用性，尤其在面对鱼眼或全景图像时表现不佳，导致大量场景上下文信息的丢失。为解决这一问题，我们提出UniK3D——首个具备泛化能力的单目三维估计方法，能够建模任意相机类型。该方法引入了一种球面三维表示，有效解耦相机与场景几何结构，从而实现对非约束相机模型的精确度量三维重建。其相机模块采用一种新颖的、与具体模型无关的射线束表示方式，通过学习球谐函数的叠加来实现。此外，我们提出一种角度损失（angular loss），结合相机模块的设计，有效防止广角相机下三维输出的压缩问题。在13个多样化数据集上的全面零样本评估表明，UniK3D在三维重建、深度估计及相机建模等多项指标上均达到当前最先进水平，尤其在大视场角与全景场景下表现出显著提升，同时在传统针孔相机小视场角场景中仍保持顶尖精度。代码与模型已开源，详见：github.com/lpiccinelli-eth/unik3d。