摘要
扩散模型微调为定制预训练模型以生成特定对象提供了一种强大的方法，但在训练样本有限时，经常会出现过拟合问题，这不仅损害了模型的泛化能力，还降低了输出的多样性。本文旨在解决一个既具挑战性又极具影响力的任务——仅使用一张概念图像来适应扩散模型，因为单图像定制具有最大的实际应用潜力。我们引入了T-LoRA（Timestep-Dependent Low-Rank Adaptation），这是一种专门设计用于扩散模型个性化的时步依赖低秩适应框架。在我们的研究中，我们发现较高的扩散时步比较低的时步更容易出现过拟合现象，因此需要一种时步敏感的微调策略。T-LoRA融合了两项关键创新：(1) 一种动态微调策略，根据扩散时步调整秩约束更新；(2) 一种权重参数化技术，通过正交初始化确保适配器组件之间的独立性。大量实验表明，T-LoRA及其各个组件在性能上优于标准LoRA和其他扩散模型个性化技术。它们在概念保真度和文本对齐之间实现了更好的平衡，突显了T-LoRA在数据有限和资源受限场景中的潜力。代码可在https://github.com/ControlGenAI/T-LoRA 获取。