无监督深度视频去噪

用于视频去噪的深度卷积神经网络（CNN）通常采用监督学习方式进行训练，其前提是存在清晰的视频作为参考。然而，在许多实际应用中，例如显微成像，原始的无噪声视频往往无法获得。为解决这一问题，我们提出了一种无监督深度视频去噪器（Unsupervised Deep Video Denoiser, UDVD），这是一种专为仅使用噪声数据进行训练而设计的CNN架构。即使仅在单段短时噪声视频上进行训练，UDVD的性能仍可与当前最先进的监督式方法相媲美。我们通过在真实成像场景中对原始视频、荧光显微图像及电子显微图像进行去噪，验证了该方法的实用潜力。与当前多数视频去噪方法不同，UDVD无需显式的运动补偿机制。这一设计具有显著优势：运动补偿通常计算开销大，且在输入数据本身噪声严重时，其估计结果往往不可靠。通过基于梯度的分析发现，UDVD能够自动适应输入噪声视频中的局部运动变化。因此，尽管网络仅以去噪为目标进行训练，却能自发地实现隐式的运动补偿，从而在不显式建模运动的情况下有效提升去噪效果。