Xiaoyu Yue Zidong Wang Yuqing Wang Wenlong Zhang Xihui Liu Wanli Ouyang Lei Bai Luping Zhou

초록

최근 연구들은 이미지 생성 분야에서 고품질의 시각적 표현의 중요성을 입증하며, 생성 모델이 이미지 이해 능력에서 겪는 한계를 부각시켰다. 자연어 처리를 처음 목적으로 설계된 순차적 생성 모델(autoregressive models) 역시 유사한 과제를 안고 있다. 본 연구에서는 시각 영역에 다음 토큰 예측 파라다임을 적용하는 메커니즘에 대한 최초의 체계적인 탐구를 제시한다. 우리는 고수준의 시각적 의미를 학습하는 데 방해가 되는 세 가지 핵심적 특성을 규명하였다. 바로 국소적이고 조건부 의존성, 단계 간 의미 불일치, 공간 불변성의 부족이다. 본 연구에서는 학습 과정 중에 자기지도 학습(self-supervised) 목적 함수를 도입함으로써 이러한 문제들이 효과적으로 해결될 수 있음을 보여주며, 새로운 학습 프레임워크인 자가 안내 학습을 위한 순차적 생성 모델(Self-guided Training for AutoRegressive models, ST-AR)을 제안한다. 사전 학습된 표현 모델에 의존하지 않고도 ST-AR는 순차적 생성 모델의 이미지 이해 능력을 크게 향상시켜 생성 품질도 개선한다. 구체적으로 LlamaGen-L에 대해 약 42%의 FID(Fréchet Inception Distance) 개선 효과를, LlamaGen-XL에 대해 약 49%의 FID 개선 효과를 달성하였으며, 동일한 샘플링 전략을 유지한 채로 수행되었다.