12 天前

基于衍射旋转的端到端联合深度与图像重建学习

Mazen Mel, Muhammad Siddiqui, Pietro Zanuttigh
基于衍射旋转的端到端联合深度与图像重建学习
摘要

单目深度估计由于问题本身的病态性,仍然是一个开放性挑战。基于深度学习的方法已得到广泛研究,并证明能够在单张RGB图像缺乏有意义且鲁棒的深度线索的情况下,实现可接受的深度估计精度。然而,这种限制严重制约了其性能表现。基于编码孔径的方法利用相位与振幅掩膜,通过依赖于深度的点扩散函数(Point Spread Function, PSF)在二维图像中编码强深度线索,但代价是图像质量的下降。本文提出了一种新颖的端到端学习方法,用于从衍射旋转中恢复深度信息。该方法联合优化一个生成随离焦程度变化的旋转点扩散函数(Rotating Point Spread Function, RPSF)的相位掩膜,以及深度估计神经网络的权重。为此,我们引入了一种可微分的孔径掩膜物理模型,并利用高精度的相机成像流程仿真。所提方法在显著降低模型复杂度和训练数据需求的同时,在室内基准测试中展现出优于现有方法的单目深度估计性能。此外,为应对图像退化问题,本文还引入了一个非盲且非均匀的图像去模糊模块,以从RPSF模糊的图像中恢复出清晰的全焦图像。