확장 합성곱을 사용한 텍스트 모델링을 위한 개선된 변분 오토인코더

최근 텍스트 생성 모델링에 대한 연구에서는 LSTM 디코더를 통합한 변분 오토인코더(VAE)가 더 단순한 LSTM 언어 모델보다 성능이 떨어짐을 발견했습니다(Bowman et al., 2015). 이 부정적인 결과는 아직 잘 이해되지 않았지만, LSTM 디코더가 인코더로부터의 조건부 정보를 무시하는 경향 때문으로 추정되고 있습니다. 본 논문에서는 VAE에 새로운 종류의 디코더인 다ilated CNN을 실험합니다. 다ilated CNN의 구조를 변경함으로써, 이전에 생성된 단어들로부터 효과적인 문맥을 제어할 수 있습니다. 실험 결과, 디코더의 문맥 처리 능력과 인코딩 정보 사용량 사이에서 균형을 맞추는 것이 중요하다는 것을 확인하였습니다. 우리는 적절한 디코더를 사용하면 VAE가 LSTM 언어 모델을 능가할 수 있음을 보였습니다. 두 데이터셋에서 퍼플렉서티(perplexity) 개선 효과를 입증하였으며, 이는 VAE를 텍스트 생성 모델링에 활용하는 첫 번째 긍정적인 실험 결과입니다. 또한, 우리는 다ilated CNN 디코더를 사용한 VAE가 반감독(semi-supervised) 및 비지도(unsupervised) 라벨링 작업에서 여러 강력한 기준모델(baselines)을 능가함을 깊이 있게 조사하였습니다.