FlowSeq: 생성적 플로우를 활용한 비자기 조건부 시퀀스 생성

대부분의 시퀀스-투-시퀀스(seq2seq) 모델은 자동회귀(auto-regressive) 방식을 사용한다. 이러한 모델은 이전에 생성된 토큰들에 조건을 두고 각 토큰을 차례로 생성한다. 반면, 비자동회귀(non-auto-regressive) seq2seq 모델은 한 번의 전진 연산을 통해 모든 토큰을 동시에 생성함으로써 GPU와 같은 하드웨어에서 병렬 처리를 통해 효율성을 크게 높일 수 있다. 그러나 모든 토큰의 결합 분포를 동시에 직접 모델링하는 것은 어렵고, 모델 구조가 점점 더 복잡해져도 자동회귀 모델에 비해 정확도가 크게 뒤처지는 문제가 있다. 본 논문에서는 잠재 변수(latent variable) 모델을 활용한 간단하면서도 효율적이고 효과적인 비자동회귀 시퀀스 생성 모델을 제안한다. 구체적으로, 신경망을 사용해 복잡한 분포를 모델링하는 데 효과적인 기법인 생성형 흐름(generative flow)에 주목하여, 순차적 잠재 변수의 조건부 밀도를 모델링하기 위해 특화된 여러 층의 흐름 구조를 설계하였다. 제안한 모델은 세 가지 신경망 기계 번역(NMT) 기준 데이터셋에서 평가되었으며, 최첨단 비자동회귀 NMT 모델과 비슷한 성능을 달성하였고, 시퀀스 길이에 관계없이 거의 일정한 디코딩 시간을 보였다.