Command Palette

Search for a command to run...

7 小时前

无数据流程图提炼

Shangyuan Tong Nanye Ma Saining Xie Tommi Jaakkola

无数据流程图提炼

摘要

当前最先进的流模型虽能实现卓越的生成质量,但其采样过程通常缓慢且依赖迭代。为加速这一过程,可将预训练教师模型的流映射(flow map)进行知识蒸馏,而传统方法通常需要从外部数据集采样。我们指出,这种对数据的依赖会带来一个根本性风险——教师-数据不匹配问题:静态数据集可能无法完整甚至会错误地反映教师模型全部生成能力的分布。这促使我们质疑:在成功的流映射蒸馏中,是否真的必须依赖外部数据?在本工作中,我们提出一种无需数据的替代方案,仅从先验分布中采样——该分布由教师模型的构造保证其必然遵循,从而彻底规避了上述不匹配风险。为验证这一理念的实用性,我们提出一个系统性框架,能够学习预测教师模型的采样路径,并主动纠正自身累积误差,以确保高保真度。我们的方法显著超越所有基于数据的蒸馏方法,在性能上建立了新的技术标杆。具体而言,从 SiT-XL/2+REPA 模型蒸馏时,仅需一步采样,即可在 ImageNet 256×256 上达到 1.45 的 FID 分数,在 ImageNet 512×512 上达到 1.49 的 FID 分数。我们期望本工作能为加速生成模型提供一种更具鲁棒性的新范式,并推动无需数据的流映射蒸馏技术在更广泛场景中的应用。

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供