无训练指导 Training-Free Guidance

无训练指导(Training-Free Guidance, 简称 TFG)是一种全新的统一算法框架,由斯坦福大学、北京大学、清华大学等机构的研究团队于 2024 年联合提出,相关论文成果为「TFG: Unified Training-Free Guidance for Diffusion Models」,已被 NeurIPS 2024 接收为 Spotlight 。这一框架旨在解决扩散模型在条件生成领域的难题,即生成符合特定条件(如标签、属性或能量分布)的样本通常需要为每个目标训练专门的生成模型,这种方法不仅耗费资源,还限制了扩散模型的实际应用潜力。

TFG 框架的核心创新包括 3 个方面:

  1. 统一设计空间:TFG 提出了一个通用的无训练指导设计空间,将现有算法视为其特殊情况。这种统一视角不仅简化了对不同算法的比较,还通过扩展设计空间提升了性能。具体而言,TFG 基于多维超参数设计,涵盖了多种指导方法的变体,为任务适配提供了灵活性。
  2. 高效超参数搜索策略:为了应对多目标、多样化任务场景,TFG 引入了一种高效的超参数搜索策略。在此框架下,用户无需复杂的调参过程,通过自动化策略即可快速确定最优超参数组合,适配多种下游任务。
  3. 全面基准测试:TFG 框架在 7 种扩散模型上开展了广泛的实验,包括图像、分子、音频等 16 项任务和 40 个具体目标。实验结果显示,TFG 平均性能提升 8.5%,在多个任务中均超越现有最佳方法。