XVerse: DiT 변조를 통한 일관된 다중 주체의 신원 및 의미 속성 제어

텍스트-이미지 생성에서 주제의 정체성과 의미적 속성(자세, 스타일, 조명)에 대한 세부적인 제어를 달성하는 것은 특히 여러 주제에 대해 확산 변환기(Diffusion Transformers, DiTs)의 편집 가능성과 일관성을 해치는 경우가 많습니다. 많은 접근 방식들이 부작용을 유발하거나 속성 간 얽힘(attribute entanglement) 문제를 겪습니다. 이러한 도전 과제를 극복하기 위해 우리는 새로운 다중 주제 제어 생성 모델인 XVerse를 제안합니다. XVerse는 참조 이미지를 토큰별 텍스트 스트림 변조(offsets for token-specific text-stream modulation)로 변환하여 특정 주제에 대한 정밀하고 독립적인 제어를 가능하게 하면서 이미지 잠재 변수(latents)나 특징(features)을 방해하지 않습니다. 그 결과, XVerse는 각각의 주제 특성과 의미적 속성에 대한 강력한 제어력을 바탕으로 고충실도와 편집 가능한 다중 주제 이미지 합성을 제공합니다. 이 발전은 개인화된 복잡한 장면 생성 능력을 크게 향상시킵니다.