이산 흐름: 이산 데이터의 역할할 수 있는 생성 모델

정규화 흐름(Normalizing Flows)은 고차원 연속 분포 모델링에서 중요한 발전을 이루어냈지만, 이들의 이산 분포에 대한 적용 가능성은 아직 알려지지 않았다. 본 논문에서는 정규화 흐름이 실제로 이산 사건으로 확장될 수 있음을 보여주며, 로그 결정자(Jacobian) 계산을 요구하지 않는 간단한 변수 변환 공식을 사용함으로써 이를 가능하게 한다. 이산 흐름은 다양한 응용 분야를 가지고 있다. 우리는 두 가지 흐름 구조를 고려한다: 양방향성을 가능하게 하여 예를 들어 텍스트의 토큰들이 왼쪽에서 오른쪽과 오른쪽에서 왼쪽 문맥 모두에 의존할 수 있는 정확한 언어 모델을 제공하는 이산 자기 회귀 흐름(Discrete Autoregressive Flows); 그리고 RealNVP와 같이 효율적인 비자기 회귀 생성을 가능하게 하는 이산 이분 그래프 흐름(Discrete Bipartite Flows)이다. 경험적으로, 우리는 이산 자기 회귀 흐름이 합성 이산 분포, 덧셈 작업, 및 포츠 모델(Potts Models)에서 자기 회귀 기준모델보다 우수한 성능을 나타냄을 확인하였으며, 이분 그래프 흐름은 Penn Tree Bank 및 text8 데이터셋의 문자 단위 언어 모델링에서 자기 회귀 기준모델과 경쟁력 있는 성능을 보임을 발견하였다.