面向学习任务的流机制以相互引导合成与真实视频去噪中的特征对齐

视频去噪旨在从含噪视频中恢复出清晰的视频内容。已有研究指出，通过利用相邻帧提供的时空上下文信息，光流可以有效辅助去噪。然而，光流估计本身对噪声较为敏感，在噪声水平较高时可能失效，从而影响去噪效果。为此，本文提出一种新型的多尺度精细化光流引导视频去噪方法，该方法在不同噪声水平下均表现出更强的鲁棒性。所提方法主要由两个模块构成：面向去噪的光流精炼（Denoising-oriented Flow Refinement, DFR）模块，以及光流引导的互信息去噪传播（Flow-guided Mutual Denoising Propagation, FMDP）模块。与以往直接采用现成光流结果的方法不同，DFR首先学习具有鲁棒性的多尺度光流，而FMDP则通过从低分辨率到高分辨率逐步引入并精炼光流信息，实现更有效的光流引导。结合真实噪声退化建模，所提出的多尺度光流引导去噪网络在合成高斯噪声去除和真实视频去噪任务上均达到了当前最优性能。相关代码将公开发布。