Command Palette
Search for a command to run...
인스턴스어셈블리: 인스턴스 어셈블링 어텐션을 통한 레이아웃 인지 이미지 생성
인스턴스어셈블리: 인스턴스 어셈블링 어텐션을 통한 레이아웃 인지 이미지 생성
Qiang Xiang Shuang Sun Binglei Li Dejia Song Huaxia Li Nemo Chen Xu Tang Yao Hu Junping Zhang
초록
확산 모델은 고해상도 이미지 생성에 뛰어난 능력을 보여주고 있다. 최근 레이아웃-이미지(L2I) 생성 기술의 발전은 위치 조건과 텍스트 설명을 활용하여 정밀하고 제어 가능한 이미지 합성을 가능하게 하였다. 그러나 전반적인 발전에도 불구하고, 현재의 L2I 기법들은 여전히 최적의 성능을 보이지 못하고 있다. 이를 해결하기 위해 우리는 인스턴스 조립 주의(Instance-assembling attention)를 통해 레이아웃 조건을 통합하는 새로운 아키텍처인 InstanceAssemble를 제안한다. 이 방법은 경계 박스(bounding box, bbox)를 이용한 위치 제어와 텍스트, 추가 시각 콘텐츠를 포함한 다중 모달 콘텐츠 제어를 가능하게 한다. 또한, 기존의 DiT 기반의 텍스트-이미지(T2I) 모델에 경량화된 LoRA 모듈을 통해 유연한 적응이 가능하다. 더불어, 레이아웃-이미지 생성을 위한 종합적인 벤치마크인 Denselayout을 제안한다. Denselayout은 총 9만 개의 인스턴스를 포함한 5,000장의 이미지로 구성되어 있으며, 다양한 복잡한 레이아웃 조건에 대한 평가를 가능하게 한다. 또한, L2I 생성의 정확도를 더 정밀하게 평가할 수 있도록 해석 가능한 평가 지표인 레이아웃 기반 점수(Layout Grounding Score, LGS)를 도입한다. 실험 결과, 제안한 InstanceAssemble 방법은 복잡한 레이아웃 조건 하에서도 최신 기술 수준(SOTA)의 성능을 달성하며, 다양한 스타일 LoRA 모듈과의 뛰어난 호환성을 보였다.