Dong She Siming Fu Mushui Liu Qiaoqiao Jin Hualiang Wang Mu Liu Jidong Jiang

초록

다중 주체 개인화 생성은 여러 참조 주체에 조건부로 이미지를 합성할 때 정체성의 일관성과 의미적 흐름을 유지하는 데 고유한 도전 과제를 제기한다. 기존의 방법들은 공유 표현 공간 내에서 서로 다른 주체 간의 상호작용 방식을 충분히 모델링하지 못함으로써 정체성 혼합 및 속성 누출 문제를 겪는 경향이 있다. 본 연구에서는 명시적인 의미적 대응과 직교적 특징 분리(orthogonal feature disentanglement)를 통한 다중 주체 생성을 재구성하는 표현 중심의 프레임워크인 MOSAIC을 제안한다. 우리의 핵심 통찰은 다중 주체 생성이 표현 수준에서 정밀한 의미적 정렬을 요구한다는 점이다. 즉, 생성된 이미지의 어떤 영역이 각 참조 주체의 어느 부분에 주목해야 하는지를 정확히 파악해야 한다는 것이다. 이를 가능하게 하기 위해, 다수의 참조 주체와 타겟 이미지 간의 세부적인 의미적 대응 관계를 정밀하게 레이블링한 SemAlign-MS 데이터셋을 도입한다. 이는 기존 분야에서 확보되지 않았던 중요한 자원이다. 이러한 기반 위에서, 각 참조 주체가 지정된 영역에 대해 높은 일관성을 유지할 수 있도록 정밀한 점 대 점 의미적 정렬을 강제하는 의미적 대응 주의 손실(semantic correspondence attention loss)을 제안한다. 또한, 서로 다른 주체들이 직교적인 주의 하위 공간으로 분리되도록 유도하는 다중 참조 분리 손실(multi-reference disentanglement loss)을 개발하여, 특징 간 간섭을 방지하면서도 개별 주체의 정체성 특성을 유지한다. 광범위한 실험 결과는 MOSAIC이 여러 벤치마크에서 최신 기술 수준의 성능을 달성함을 보여준다. 특히, 기존 방법은 보통 3개 이상의 주체를 처리할 경우 성능이 저하되는 반면, MOSAIC은 4개 이상의 참조 주체를 활용하더라도 높은 정밀도를 유지하며, 복잡한 다중 주체 합성 응용 분야에 새로운 가능성을 열어준다.