Guangting Zheng Qinyu Zhao Tao Yang Fei Xiao Zhijie Lin Jie Wu Jiajun Deng Yanyong Zhang Rui Zhu

초록

원시 데이터 분포의 명시적 확률을 직접 모델링하는 것은 기계 학습 분야에서 핵심적인 주제로, 자동회귀(Autoregressive, AR) 모델링을 통해 대규모 언어 모델(Large Language Models)의 확장성 성공을 이끌어냈다. 그러나 시각적 픽셀 데이터에 대한 연속적인 AR 모델링은 매우 긴 시계열과 고차원 공간으로 인해 큰 도전에 직면한다. 본 논문에서는 원시 픽셀에서 직접 정확한 확률 추정과 고품질 이미지 합성을 가능하게 하는, 새로운 엔드 투 엔드 생성 프레임워크인 FARMER(Fast Autoregressive Flow with Masked Estimation and Resampling)을 제안한다. FARMER는 정규화 흐름(Normalizing Flows, NF)과 자동회귀(AR) 모델을 통합하여, 계산 가능하고 정확한 확률 추정을 가능하게 하며, 원시 픽셀에서 직접 이미지 생성을 수행한다. FARMER는 이미지를 잠재 시퀀스로 변환하는 역행 가능(auto-regressive flow)을 사용하며, 이 잠재 시퀀스의 분포는 AR 모델에 의해 은유적으로 모델링된다. 픽셀 수준의 모델링에서 발생하는 중복성과 복잡성 문제를 해결하기 위해, 우리는 NF의 잠재 채널을 정보성 있는 그룹과 중복성 있는 그룹으로 분할하는 자기지도형 차원 축소 기법을 제안한다. 이는 AR 모델링의 효율성과 효과성을 높이는 데 기여한다. 더불어, 추론 속도를 크게 향상시키기 위해 일단계(distillation) 학습 기법을 설계하였으며, 이미지 생성 품질을 향상시키기 위해 리샘플링 기반의 분류기 없이 가이드된(classifier-free) 알고리즘을 도입하였다. 광범위한 실험을 통해 FARMER는 기존 픽셀 기반 생성 모델과 경쟁 가능한 성능을 달성함과 동시에 정확한 확률을 제공하고, 확장 가능한 학습이 가능함을 입증하였다.