HyperAIHyperAI

Command Palette

Search for a command to run...

UniK3D:通用相机单目三维估计

Luigi Piccinelli Christos Sakaridis Mattia Segu Yung-Hsu Yang Siyuan Li Wim Abbeloos Luc Van Gool

摘要

单目三维估计在视觉感知中具有关键作用。然而,现有方法受限于过于简化的假设,例如依赖针孔相机模型或校正后的图像,这些局限性严重制约了其在现实场景中的通用性,尤其在面对鱼眼或全景图像时表现不佳,导致大量场景上下文信息的丢失。为解决这一问题,我们提出UniK3D——首个具备泛化能力的单目三维估计方法,能够建模任意相机类型。该方法引入了一种球面三维表示,有效解耦相机与场景几何结构,从而实现对非约束相机模型的精确度量三维重建。其相机模块采用一种新颖的、与具体模型无关的射线束表示方式,通过学习球谐函数的叠加来实现。此外,我们提出一种角度损失(angular loss),结合相机模块的设计,有效防止广角相机下三维输出的压缩问题。在13个多样化数据集上的全面零样本评估表明,UniK3D在三维重建、深度估计及相机建模等多项指标上均达到当前最先进水平,尤其在大视场角与全景场景下表现出显著提升,同时在传统针孔相机小视场角场景中仍保持顶尖精度。代码与模型已开源,详见:github.com/lpiccinelli-eth/unik3d。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供