基于循环时空融合的高效多阶段视频去噪

近年来，基于深度学习的去噪方法在性能上取得了前所未有的突破，但其代价是巨大的计算复杂度。在本工作中，我们提出了一种高效多阶段视频去噪算法——EMVD（Efficient Multi-stage Video Denoising），在显著降低计算复杂度的同时，仍能保持甚至提升去噪性能。该算法包含三个阶段：首先，融合阶段通过递归地融合视频中所有历史帧来有效抑制噪声；其次，去噪阶段对融合后的帧进行噪声去除；最后，精炼阶段恢复去噪后帧中缺失的高频细节。所有阶段均在由可学习且可逆的线性算子所生成的变换域表示上进行操作，该设计在提升模型精度的同时大幅降低了计算复杂度。整个网络仅需在最终输出上施加单一损失函数即可实现稳定收敛，因而具有良好的可训练性。在真实原始视频数据上的实验表明，当计算复杂度受限时，EMVD显著优于现有最先进方法，甚至在性能上仍可与那些计算复杂度高几个数量级的算法相媲美。此外，EMVD具备极低的计算与内存开销，使其能够在移动设备的商用系统级芯片（SoC）上实现真正的实时视频去噪。