Command Palette
Search for a command to run...
USO:通过解耦与奖励学习实现统一风格与主体驱动生成
USO:通过解耦与奖励学习实现统一风格与主体驱动生成
Shaojin Wu Mengqi Huang Yufeng Cheng Wenxu Wu Jiahe Tian Yiming Luo Fei Ding Qian He
摘要
现有文献通常将风格驱动生成与主体驱动生成视为两个相互独立的任务:前者强调风格相似性,后者则注重主体一致性,由此导致两者之间存在明显的对立关系。我们认为,这两种目标可以在统一的框架下实现融合,因为它们本质上均涉及内容与风格的解耦与重组,这正是风格驱动研究领域长期关注的核心问题。为此,我们提出USO(Unified Style-Subject Optimized)——一种统一的风格-主体优化定制模型。首先,我们构建了一个大规模三元组数据集,包含内容图像、风格图像及其对应的风格化内容图像。其次,我们设计了一种解耦学习机制,通过两个互补的目标——风格对齐训练与内容-风格解耦训练——实现风格特征的对齐以及内容与风格的有效分离。第三,我们引入一种称为SRL(Style Reward Learning)的风格奖励学习范式,进一步提升模型性能。最后,我们发布了USO-Bench,这是首个能够基于多个指标联合评估风格相似性与主体保真度的基准测试平台。大量实验表明,USO在开源模型中同时实现了主体一致性和风格相似性的最先进水平。代码与模型地址:https://github.com/bytedance/USO