HyperAIHyperAI

Command Palette

Search for a command to run...

인스턴스어셈블리: 인스턴스 어셈블링 어텐션을 통한 레이아웃 인지 이미지 생성

Qiang Xiang Shuang Sun Binglei Li Dejia Song Huaxia Li Nemo Chen Xu Tang Yao Hu Junping Zhang

초록

확산 모델은 고해상도 이미지 생성에 뛰어난 능력을 보여주고 있다. 최근 레이아웃-이미지(L2I) 생성 기술의 발전은 위치 조건과 텍스트 설명을 활용하여 정밀하고 제어 가능한 이미지 합성을 가능하게 하였다. 그러나 전반적인 발전에도 불구하고, 현재의 L2I 기법들은 여전히 최적의 성능을 보이지 못하고 있다. 이를 해결하기 위해 우리는 인스턴스 조립 주의(Instance-assembling attention)를 통해 레이아웃 조건을 통합하는 새로운 아키텍처인 InstanceAssemble를 제안한다. 이 방법은 경계 박스(bounding box, bbox)를 이용한 위치 제어와 텍스트, 추가 시각 콘텐츠를 포함한 다중 모달 콘텐츠 제어를 가능하게 한다. 또한, 기존의 DiT 기반의 텍스트-이미지(T2I) 모델에 경량화된 LoRA 모듈을 통해 유연한 적응이 가능하다. 더불어, 레이아웃-이미지 생성을 위한 종합적인 벤치마크인 Denselayout을 제안한다. Denselayout은 총 9만 개의 인스턴스를 포함한 5,000장의 이미지로 구성되어 있으며, 다양한 복잡한 레이아웃 조건에 대한 평가를 가능하게 한다. 또한, L2I 생성의 정확도를 더 정밀하게 평가할 수 있도록 해석 가능한 평가 지표인 레이아웃 기반 점수(Layout Grounding Score, LGS)를 도입한다. 실험 결과, 제안한 InstanceAssemble 방법은 복잡한 레이아웃 조건 하에서도 최신 기술 수준(SOTA)의 성능을 달성하며, 다양한 스타일 LoRA 모듈과의 뛰어난 호환성을 보였다.


AI로 AI 구축

아이디어에서 출시까지 — 무료 AI 코코딩, 즉시 사용 가능한 환경, 최적의 GPU 가격으로 AI 개발을 가속화하세요.

AI 협업 코딩
바로 사용 가능한 GPU
최적의 가격

HyperAI Newsletters

최신 정보 구독하기
한국 시간 매주 월요일 오전 9시 에 이번 주의 최신 업데이트를 메일로 발송합니다
이메일 서비스 제공: MailChimp
인스턴스어셈블리: 인스턴스 어셈블링 어텐션을 통한 레이아웃 인지 이미지 생성 | 문서 | HyperAI초신경