Sung-Lin Tsai Bo-Lun Huang Yu Ting Shen Cheng Yu Yeo Chiang Tseng Bo-Kai Ruan Wen-Sheng Lien Hong-Han Shuai

초록

텍스트에서 이미지로(T2I) 생성하는 과정에서 정확한 색상 정렬은 패션, 제품 시각화, 인테리어 디자인과 같은 응용 분야에서 매우 중요하지만, 현재의 확산 모델은 복합적이고 세부적인 색상 표현(예: 티파니 블루, 라임 그린, 핫 핑크)을 다루는 데 어려움을 겪으며, 인간의 의도와 일치하지 않는 이미지를 생성하는 경우가 많다. 기존의 접근 방식은 교차 주의( cross-attention) 조작, 참조 이미지, 또는 미세 조정(fine-tuning)에 의존하지만, 모호한 색상 설명을 체계적으로 해결하지 못한다. 본 연구에서는 프롬프트의 모호성 하에서도 정확한 색상을 렌더링할 수 있도록, 추가 학습이 필요 없이 대규모 언어 모델(LLM)을 활용하여 색상 관련 프롬프트를 해석하고, 텍스트 임베딩 공간에서 직접 색상 혼합 작업을 안내하는 훈련 없이도 작동하는 프레임워크를 제안한다. 제안한 방법은 먼저 대규모 언어 모델(LLM)을 사용해 텍스트 프롬프트 내의 모호한 색상 용어를 해석한 후, 해당 색상 용어들이 CIELAB 색상 공간에서의 공간적 관계를 기반으로 텍스트 임베딩을 보정한다. 기존의 방법과 달리, 본 방법은 추가적인 학습이나 외부 참조 이미지 없이도 색상 정확도를 향상시킬 수 있다. 실험 결과는 제안한 프레임워크가 이미지 품질을 희생하지 않으면서도 색상 정렬을 개선함을 입증하며, 텍스트 의미와 시각적 생성 간의 격차를 해소하는 데 기여한다.