Command Palette

Search for a command to run...

10 天前

Depth Anything 3:从任意视角恢复视觉空间

Haotong Lin Sili Chen Junhao Liew Donny Y. Chen Zhenyu Li Guang Shi Jiashi Feng Bingyi Kang

Depth Anything 3:从任意视角恢复视觉空间

摘要

我们提出Depth Anything 3(DA3),一种能够从任意数量的视觉输入中预测空间一致几何结构的模型,无论输入是否包含已知的相机位姿。在追求极简建模的驱动下,DA3揭示了两个关键发现:仅使用一个通用的Transformer结构(如原始的DINO编码器)作为主干网络即可,无需进行架构上的特殊设计;同时,采用单一的深度-射线预测目标,可避免复杂多任务学习的必要性。通过教师-学生训练范式,DA3在细节表现与泛化能力方面达到了与Depth Anything 2(DA2)相当的水平。我们构建了一个全新的视觉几何基准,涵盖相机位姿估计、任意视角几何重建以及视觉渲染任务。在该基准上,DA3在所有任务中均取得了新的最先进性能,相较于先前的最先进方法VGGT,相机位姿估计准确率平均提升44.3%,几何重建准确率平均提升25.1%。此外,在单目深度估计任务中,DA3的表现也优于DA2。所有模型均仅在公开的学术数据集上进行训练。

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供