초록
우리는 문장의 구문 구조 다양성을 유도하기 위해 명시적인 구문 스케치(syntactic sketch)에 조건부로 설정하는 생성 모델을 제안한다. 본 연구에서는 밀도 높은 인코딩을 단계적으로 정교화하는 이산 잠재 변수들의 시퀀스로 분해하는 방법으로, 계층적 정교화 양자화 변분 자동인코더(Hierarchical Refinement Quantized Variational Autoencoders, HRQ-VAE)를 도입한다. 이 계층 구조의 코드는 엔드 투 엔드 학습을 통해 학습되며, 입력에 대한 세밀한 것에서 거친 것으로 나아가는 정보를 표현한다. HRQ-VAE를 활용하여 입력 문장의 구문 형태를 계층 구조를 따라가는 경로로 인코딩함으로써, 테스트 시에 구문 스케치를 보다 쉽게 예측할 수 있다. 광범위한 실험, 특히 인간 평가를 포함한 결과는 HRQ-VAE가 입력 공간에 대한 계층적 표현을 학습했으며, 기존 시스템보다 품질이 높은 어휘 변형(paraphrases)을 생성함을 확인한다.