초록
고차원 생성 모델은 이미지 압축, 멀티미디어 생성, 이상 탐지 및 데이터 보완 등 다양한 응용 분야에서 활용된다. 자연 이미지에 대한 최신 추정기들은 자동회귀적 접근 방식을 사용하며, 픽셀의 공동 분포를 깊은 신경망(예: 합성곱 신경망인 PixelCNN과 같은)으로 파라미터화된 조건부 분포의 곱으로 분해한다. 그러나 PixelCNN은 공동 분포의 단일 분해만을 모델링할 수 있으며, 효율적인 생성 순서도 하나뿐이다. 이미지 보완과 같은 작업에서는 이러한 모델이 관측된 컨텍스트의 대부분을 활용할 수 없다. 임의의 순서로 데이터를 생성할 수 있도록, 우리는 표준 2차원 합성곱에 간단한 수정을 가한 LMConv를 제안한다. LMConv는 이미지 내 각 위치에 대해 임의의 마스크를 가중치에 적용할 수 있게 하여, 생성 순서에 따라 다양한 조건부 분포를 학습할 수 있다. LMConv를 사용함으로써, 파라미터를 공유하지만 생성 순서가 다른 분포 추정기의 앙상블을 학습할 수 있으며, 이는 전체 이미지 밀도 추정(무조건적 CIFAR10 기준 2.89 bpd)에서 개선된 성능과 전역적으로 일관된 이미지 보완을 달성한다. 코드는 다음 링크에서 확인할 수 있다: https://ajayjain.github.io/lmconv.