11 天前
基于垂直切割深度的单目深度估计全局-局部路径网络
Doyeon Kim, Woonghyun Ka, Pyungwhan Ahn, Donggyu Joo, Sehwan Chun, Junmo Kim

摘要
单目深度估计是从单张图像中恢复场景深度信息的重要任务,在计算机视觉的多个领域具有广泛应用,其发展得益于卷积神经网络的迅速进步。本文提出一种新颖的网络结构与训练策略,旨在进一步提升单目深度估计的预测精度。我们引入分层Transformer编码器以捕获并传递全局上下文信息,并设计了一个轻量化但高效的解码器,能够在保持局部连接性的同时生成精确的深度图。通过所提出的选择性特征融合模块,构建多尺度局部特征与全局解码流之间的连接路径,使网络能够有效融合局部与全局表征,从而恢复精细细节。此外,所提出的解码器在性能上优于先前的解码结构,同时显著降低了计算复杂度。进一步地,我们基于深度估计中的一项关键观察,优化了面向深度任务的增强方法,以提升模型的泛化能力。在具有挑战性的NYU Depth V2数据集上,所提方法达到了当前最优的性能表现。大量实验验证了该方法的有效性与优越性。最终,我们的模型在泛化能力与鲁棒性方面均优于其他对比模型。