Shaojin Wu Mengqi Huang Yufeng Cheng Wenxu Wu Jiahe Tian Yiming Luo Fei Ding Qian He

초록

기존 연구는 스타일 중심 생성과 주제 중심 생성을 서로 분리된 작업으로 간주해 왔다. 이들 중 스타일 중심 생성은 스타일의 유사성을 우선시하는 반면, 주제 중심 생성은 주제의 일관성을 강조하여 상호 간에 명백한 대립 관계를 형성해 왔다. 본 연구에서는 두 목표가 결국 콘텐츠와 스타일의 분리 및 재구성이라는 동일한 핵심 문제를 다루고 있다는 점에 주목하여, 이 둘을 하나의 통합 프레임워크 아래에서 통합할 수 있다고 주장한다. 이를 위해 우리는 USO(통합 스타일-주제 최적화 커스터마이징 모델)를 제안한다. 먼저, 콘텐츠 이미지, 스타일 이미지 및 해당 스타일이 적용된 콘텐츠 이미지로 구성된 대규모 트리플릿 데이터셋을 구축한다. 다음으로, 스타일 특징의 정렬과 콘텐츠-스타일의 분리라는 두 가지 보완적인 목적을 동시에 달성하는 분리 학습 방식을 도입한다. 이는 스타일 정렬 학습과 콘텐츠-스타일 분리 학습으로 구성된다. 세 번째로, 모델 성능을 추가로 향상시키기 위해 스타일 보상 학습 기반의 SRL(Style Reward Learning) 패러다임을 도입한다. 마지막으로, 다양한 지표를 통해 스타일 유사성과 주제 충실도를 동시에 평가할 수 있는 최초의 벤치마크인 USO-Bench를 공개한다. 광범위한 실험을 통해 USO가 오픈소스 모델 중에서 주제 일관성과 스타일 유사성 두 가지 측면에서 최고 수준의 성능을 달성함을 입증하였다. 코드 및 모델: https://github.com/bytedance/USO