OmniConsistency：从配对的风格化数据中学习风格无关的一致性

扩散模型在图像风格化方面取得了显著进展，但仍存在两个核心挑战：(1) 在复杂场景中保持风格的一致性，特别是身份、构图和细节的一致性；(2) 防止在使用风格LoRAs的图像到图像管道中出现风格退化。GPT-4o在风格一致性方面的卓越表现突显了开源方法与专有模型之间的性能差距。为了弥合这一差距，我们提出了一种名为 OmniConsistency 的通用一致性插件，该插件利用大规模扩散变压器（DiTs）。OmniConsistency的主要贡献包括：(1) 一种基于对齐图像对训练的上下文一致性学习框架，以实现强大的泛化能力；(2) 一种两阶段渐进学习策略，将风格学习与一致性保持解耦，以减轻风格退化；(3) 完全即插即用的设计，兼容Flux框架下的任意风格LoRAs。大量实验表明，OmniConsistency显著提升了视觉连贯性和美学质量，其性能可与商业最先进模型GPT-4o相媲美。