嫁接 Grafting
嫁接(Grafting)是斯坦福大学等团队于 2025 年提出的一种编辑预训练扩散 transformer(DiT)的简单方法,且仅需较小的计算预算。相关研究论文为「Exploring Diffusion Transformer Designs via Grafting」
Grafting 的具体流程如下:
激活蒸馏:将原始操作符的功能转移到新操作符上,通过回归目标来蒸馏其激活值。
轻量级微调:通过使用有限数据进行端到端微调,缓解因整合多个新操作符而产生的误差传播。
嫁接(Grafting)是斯坦福大学等团队于 2025 年提出的一种编辑预训练扩散 transformer(DiT)的简单方法,且仅需较小的计算预算。相关研究论文为「Exploring Diffusion Transformer Designs via Grafting」
Grafting 的具体流程如下:
激活蒸馏:将原始操作符的功能转移到新操作符上,通过回归目标来蒸馏其激活值。
轻量级微调:通过使用有限数据进行端到端微调,缓解因整合多个新操作符而产生的误差传播。