HyperAIHyperAI

Command Palette

Search for a command to run...

扩散模型生成的合成数据是否已准备好用于知识蒸馏?

Li Zheng ; Li Yuxuan ; Zhao Penghai ; Song Renjie ; Li Xiang ; Yang Jian

摘要

扩散模型最近在生成高保真照片级真实图像方面取得了令人瞩目的性能。尽管它们取得了巨大成功,但当无法获取真实图像时,合成图像是否适用于知识蒸馏仍不清楚。本文中,我们广泛研究了来自最先进扩散模型的合成图像在没有真实图像的情况下能否用于知识蒸馏,并得出了三个关键结论:(1)扩散模型生成的合成数据在现有的基于合成的蒸馏方法中可以轻松达到最先进水平;(2)低保真度的合成图像是更好的教学材料;(3)相对较弱的分类器是更好的教师。代码可在 https://github.com/zhengli97/DM-KD 获取。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供