面向自动驾驶的单视角与多视角深度自适应融合

多视角深度估计在多个基准测试中已取得令人瞩目的性能表现。然而，当前绝大多数多视角系统均依赖于理想的已知相机位姿，而在许多真实场景（如自动驾驶）中，此类理想位姿往往无法获取。为此，本文提出了一种新的鲁棒性评估基准，用于在多种噪声位姿条件下评估深度估计系统的性能。令人惊讶的是，我们发现现有的多视角深度估计方法，以及单视角与多视角融合方法，在面对噪声位姿时均会失效。为应对这一挑战，本文提出一种单视角与多视角融合的深度估计系统，该系统能够自适应地融合高置信度的单视角与多视角结果，从而在保证精度的同时提升系统的鲁棒性。系统中的自适应融合模块通过基于包裹置信度图（wrapping confidence map）动态选择两个分支中的高置信区域，实现精细化融合。因此，在面对无纹理场景、相机标定误差、动态物体以及其他退化或挑战性条件时，系统能够自动选择更为可靠的分支进行输出。实验结果表明，该方法在鲁棒性测试中显著优于当前最先进的多视角及融合类方法。此外，在相机位姿准确的前提下，该方法在具有挑战性的基准数据集（KITTI 和 DDAD）上也达到了当前最优的性能表现。项目主页：https://github.com/Junda24/AFNet/