4 个月前

神经图像再曝光

Zhang, Xinyu ; Huang, Hefei ; Jia, Xu ; Wang, Dong ; Lu, Huchuan
神经图像再曝光
摘要

快门策略在拍摄过程中对所捕获照片的质量有着显著影响。不当的快门设置可能导致图像模糊、视频不连续或出现滚动快门伪影。现有的研究尝试为每个问题提供独立的解决方案。在本工作中,我们旨在通过后期处理重新曝光所捕获的照片,以提供一种更为灵活的方法,在统一框架内解决这些问题。具体而言,我们提出了一种基于神经网络的图像重新曝光框架。该框架包括一个用于构建视觉潜在空间的编码器、一个用于将所需快门策略的信息聚合到神经胶片中的重新曝光模块,以及一个用于“显影”神经胶片生成所需图像的解码器。为了补偿信息混淆和丢失帧的问题,我们利用了事件流(event streams),它可以捕捉几乎连续的亮度变化,在计算视觉潜在内容时发挥作用。重新曝光模块中同时采用了自注意力层和交叉注意力层,以促进神经胶片与视觉潜在内容之间的交互,并将信息有效聚合到神经胶片中。所提出的统一图像重新曝光框架在多个与快门相关的图像恢复任务上进行了评估,并表现优于现有的独立最先进方法。