HyperAIHyperAI

Command Palette

Search for a command to run...

数据循环利用知识蒸馏用于图像超分辨率

Yun Zhang Wei Li Simiao Li Hanting Chen Zhijun Tu Wenjia Wang Bingyi Jing Shaohui Lin Jie Hu

摘要

知识蒸馏(Knowledge Distillation, KD)通过将复杂预训练教师模型中的任务相关知识迁移至轻量级学生模型,实现深度神经网络的压缩。然而,现有的超分辨率(Super-Resolution, SR)任务中的知识蒸馏方法忽视了SR任务的本质特性:教师模型的输出是对高质量图像真实分布(Ground-Truth, GT)的噪声近似,这种噪声特性削弱了教师模型知识的有效性,导致知识蒸馏效果受限。为突破教师模型在GT上界之下的性能瓶颈,本文提出数据循环再利用知识蒸馏(Data Upcycling Knowledge Distillation, DUKD)方法,通过从训练数据中生成的域内“升级”数据(upcycled in-domain data),实现教师模型知识向学生模型的有效迁移。此外,本文引入基于成对可逆增强(paired invertible augmentations)的标签一致性正则化策略,进一步提升学生模型在SR任务中的性能与鲁棒性。大量实验结果表明,DUKD方法在多个超分辨率任务中显著优于现有先进方法。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供