数据循环利用知识蒸馏用于图像超分辨率

知识蒸馏（Knowledge Distillation, KD）通过将复杂预训练教师模型中的任务相关知识迁移至轻量级学生模型，实现深度神经网络的压缩。然而，现有的超分辨率（Super-Resolution, SR）任务中的知识蒸馏方法忽视了SR任务的本质特性：教师模型的输出是对高质量图像真实分布（Ground-Truth, GT）的噪声近似，这种噪声特性削弱了教师模型知识的有效性，导致知识蒸馏效果受限。为突破教师模型在GT上界之下的性能瓶颈，本文提出数据循环再利用知识蒸馏（Data Upcycling Knowledge Distillation, DUKD）方法，通过从训练数据中生成的域内“升级”数据（upcycled in-domain data），实现教师模型知识向学生模型的有效迁移。此外，本文引入基于成对可逆增强（paired invertible augmentations）的标签一致性正则化策略，进一步提升学生模型在SR任务中的性能与鲁棒性。大量实验结果表明，DUKD方法在多个超分辨率任务中显著优于现有先进方法。