2 个月前

“零样本”超分辨率使用深度内部学习

Assaf Shocher; Nadav Cohen; Michal Irani
“零样本”超分辨率使用深度内部学习
摘要

近年来,深度学习在超分辨率(Super-Resolution, SR)性能方面取得了显著的飞跃。然而,由于这些超分辨率方法是监督式的,因此它们受限于特定的训练数据,其中低分辨率(Low-Resolution, LR)图像从其高分辨率(High-Resolution, HR)图像中获取的过程是预先确定的(例如,双三次降采样),并且不会包含任何干扰伪影(例如,传感器噪声、图像压缩、非理想点扩散函数等)。然而,实际的低分辨率图像很少遵循这些限制,导致最先进的(State of the Art, SotA)方法在处理这类图像时效果较差。本文介绍了一种“零样本”超分辨率方法,该方法利用了深度学习的强大能力,但不依赖于事先的训练。我们利用单个图像内部信息的重复性,在测试时仅从输入图像本身提取示例来训练一个小的图像特定卷积神经网络(CNN)。这样可以针对每张图像的不同情况进行自适应调整。这使得该方法能够对真实的旧照片、含噪图像、生物数据以及其他采集过程未知或非理想的图像进行超分辨率处理。在处理这类图像时,我们的方法不仅优于现有的基于CNN的SotA超分辨率方法,也优于之前的无监督超分辨率方法。据我们所知,这是首个无监督的基于CNN的超分辨率方法。