LaCon: 후기 제약 확산을 이용한 조정 가능한 안내 이미지 생성

확산 모델은 사진 같은 현실감과 창의적인 이미지를 생성하는 데 있어 뛰어난 능력을 보여주었습니다. 이러한 생성 과정에 대해 더 많은 제어 가능성을 제공하기 위해, 기존 연구들은 본 논문에서 초기 제약 방법(Early-Constraint Methods)으로 지칭되는 추가 조건을 활용하여 사전 학습된 확산 모델에 통합하였습니다. 특히, 일부 연구는 조건별 모듈을 채택하여 각각의 조건을 별도로 처리하였으나, 다른 조건들에 대한 일반화 능력이 부족한 문제를 겪었습니다. 후속 연구들은 이 일반화 문제를 해결하기 위한 통합적 솔루션을 제시하였지만, 추가 입력이나 매개변수 최적화 등의 추가 자원이 필요했습니다. 따라서 더욱 유연하고 효율적인 솔루션이 요구되어, 제어 가능한 안내 이미지 합성(steerable guided image synthesis)을 수행할 수 있습니다.본 논문에서는 다양한 조건을 동시에 사전 학습된 확산 모델에 통합하기 위한 대안적인 패러다임인 후기 제약 확산(Late-Constraint Diffusion, LaCon)을 제시합니다. 구체적으로, LaCon은 외부 조건과 확산 모델의 내부 특성 사이의 정렬(alignment)을 설정하고, 이 정렬을 활용하여 목표 조건을 통합하여 샘플링 과정을 안내하여 맞춤형 결과를 생성합니다. COCO 데이터셋에서 수행된 실험 결과는 다양한 조건과 환경 하에서 LaCon의 효과와 우수한 일반화 능력을 입증하였습니다. 아블레이션 연구(ablation studies)는 LaCon 내의 다양한 구성 요소들의 기능을 분석하고, 이가 확산 모델에 대한 유연한 제어 가능성을 제공하는 효율적인 솔루션으로서 큰 잠재력을 가짐을 보여줍니다.