摘要
深度学习近年来在极端低光照成像领域取得了令人瞩目的成果。尽管单帧图像处理已取得显著进展，但极端低光照视频处理仍面临巨大挑战，主要原因是难以获取具有对应真实标签（ground truth）的原始视频数据。对于动态场景而言，像单帧处理中那样通过长曝光获取真实标签的方法并不可行。本文提出了一种针对极暗原始视频的深度处理方法，其光照水平低至约1勒克斯（lux）。为支持该研究方向，我们构建了一个全新的原始低光照视频数据集，其中以视频帧率采集了高分辨率的原始数据。在如此低的光照条件下，信噪比极低（以分贝衡量时甚至为负值），传统的图像处理流程通常失效。为此，本文提出了一种新方法以应对这一难题。通过精心设计基于学习的处理流程，并引入一种新的损失函数以增强时序稳定性，我们在静态场景的原始视频上训练了一个孪生网络（siamese network），这些静态视频具有可用的真实标签。训练完成后，该网络在测试阶段可有效泛化至动态场景视频。实验结果表明，所提出的方法在突发图像处理（burst processing）、单帧处理（per-frame processing）以及无监督时序一致性（blind temporal consistency）等方面均优于现有最先进模型。