基于负向引导的主题保真度优化用于零样本主题驱动生成

我们提出了一种新颖的对比学习框架——主题保真度优化（Subject Fidelity Optimization, SFO），用于零样本主题驱动生成，以增强主题保真度。除了依赖正向目标并使用扩散损失进行监督微调的方法外，SFO 引入了合成负向目标，并通过成对比较显式地引导模型偏好正向目标而非负向目标。对于负向目标，我们提出了条件退化负采样（Condition-Degradation Negative Sampling, CDNS）方法，该方法通过有意降低视觉和文本线索的质量自动生成独特且富有信息量的负例，而无需昂贵的人工标注。此外，我们重新调整了扩散时间步长的权重，以便在主题细节出现的中间步骤上集中微调。大量的实验表明，结合 CDNS 的 SFO 在主题保真度和文本对齐方面显著优于基线方法，在一个主题驱动生成基准测试中表现尤为突出。项目页面：https://subjectfidelityoptimization.github.io/