Command Palette

Search for a command to run...

14 天前

KLASS:基于KL引导的掩码扩散模型快速推理

Seo Hyun Kim Sunwoo Hong Hojung Jung Youngrok Park Se-Young Yun

KLASS:基于KL引导的掩码扩散模型快速推理

摘要

掩码扩散模型在语言生成等多种任务中已展现出具有竞争力的性能。然而,由于其迭代精炼的生成过程,推理阶段往往受限于采样速度慢且固定的问题。为解决这一瓶颈,我们提出一种快速而高效的采样方法——“KL自适应稳定性采样”(KL-Adaptive Stability Sampling, KLASS),该方法利用词元级别的KL散度来识别稳定且高置信度的预测结果。通过在每轮迭代中一次性解码多个词元,且无需任何额外的模型训练,我们的方法显著提升了生成速度,同时保持了高质量的样本输出。在推理类基准测试中,KLASS实现了最高达2.78倍的实时加速(wall-clock speedup),性能优于标准的贪心解码,并在基于扩散模型的采样器中达到了当前最优水平。此外,我们在文本生成、图像生成和分子生成等多个不同领域对KLASS进行了验证,结果表明其作为通用采样器在多种模型上均具有良好的适用性和有效性。

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供