16 天前

DS-Depth:通过融合代价体实现动态与静态深度估计

Xingyu Miao, Yang Bai, Haoran Duan, Yawen Huang, Fan Wan, Xinxing Xu, Yang Long, Yefeng Zheng
DS-Depth:通过融合代价体实现动态与静态深度估计
摘要

自监督单目深度估计方法通常依赖重投影误差来捕捉静态场景中连续帧之间的几何关系。然而,在存在动态物体的场景中,这一假设不再成立,导致视图合成阶段出现错误,例如特征匹配错误和遮挡问题,从而显著降低生成深度图的准确性。为解决该问题,我们提出一种新型动态代价体(dynamic cost volume),通过利用残差光流来描述运动物体,有效改善了以往方法中静态代价体在遮挡区域的错误建模问题。然而,动态代价体不可避免地引入了额外的遮挡和噪声,为此我们设计了一种融合模块,使静态与动态代价体能够相互补偿:即由动态代价体对静态代价体中的遮挡区域进行精细化处理,同时利用静态代价体剔除动态代价体中不准确的信息。此外,我们提出一种金字塔蒸馏损失(pyramid distillation loss),以降低低分辨率下光度误差的不准确性;并引入一种自适应光度误差损失,以缓解遮挡区域大梯度导致的光流方向偏差问题。我们在KITTI和Cityscapes数据集上进行了大量实验,结果表明,所提出的模型在自监督单目深度估计任务上显著优于先前发表的各类基线方法。

DS-Depth:通过融合代价体实现动态与静态深度估计 | 最新论文 | HyperAI超神经