摘要
为实现自动驾驶中清晰的街景视图与高度逼真的仿真效果，本文提出一种自动视频修复算法，能够从视频中移除交通参与者，并在深度图或点云数据的引导下，合成缺失区域的内容。通过将拼接后的点云构建为稠密的三维地图，视频中的各帧可借助这一统一的三维地图实现几何关联。在修复某一帧中的目标缺失区域时，可直接将其他帧中的像素通过正确的遮挡关系映射至当前帧。此外，我们还通过三维点云配准技术实现了多段视频的融合，从而使得利用多源视频对目标视频进行修复成为可能。该方法的核心动机在于解决长期遮挡问题——即在整段视频中始终未被观测到的遮挡区域。据我们所知，本工作是首个将多视频融合用于视频修复的研究。为验证所提方法的有效性，我们在真实的城区道路环境中构建了一个大规模视频修复数据集，包含同步的图像与激光雷达（LiDAR）数据，涵盖大量具有挑战性的场景，如长期遮挡等。实验结果表明，所提方法在所有评估指标上均优于现有最先进方法，尤其在均方根误差（RMSE）指标上，性能提升了约13%。