Leaked Information을 활용한 적대적 훈련을 통한 긴 텍스트 생성

자동으로 일관성 있고 의미론적으로 유의미한 텍스트를 생성하는 것은 기계 번역, 대화 시스템, 이미지 캡셔닝 등 다양한 응용 분야에서 활용됩니다. 최근에 정책 그래디언트(policy gradient)와 결합하여 생성 모델의 학습을 강화 학습 정책으로 안내하기 위해 판별 모델을 사용하는 생성적 적대 네트워크(Generative Adversarial Nets, GAN)가 텍스트 생성에서 유망한 결과를 보여주었습니다. 그러나 스칼라 안내 신호는 전체 텍스트가 생성된 후에만 제공되며, 생성 과정 중 텍스트 구조에 대한 중간 정보가 부족합니다. 따라서 이는 생성된 텍스트 샘플의 길이가 길 때(20단어 이상) 성공을 제한합니다. 본 논문에서는 이러한 문제를 해결하기 위해 장문 텍스트 생성을 위한 새로운 프레임워크인 LeakGAN을 제안합니다. 우리는 판별 네트워크가 고수준 추출 특성을 생성 네트워크에 누설(leak)할 수 있도록 하여 안내를 더욱 도울 수 있습니다. 생성자는 현재 생성된 단어들의 추출 특성을 받아 잠재 벡터(latent vector)를 출력하여 다음 단어 생성을 안내하는 Worker 모듈을 위한 추가적인 Manager 모듈을 통해 이러한 정보 신호들을 모든 생성 단계에 통합합니다. 우리는 합성 데이터와 다양한 실제 작업에서 튜링 테스트(Turing test)를 통해 광범위한 실험을 수행하였으며, 결과는 LeakGAN이 장문 텍스트 생성에서 매우 효과적이며 짧은 텍스트 생성 상황에서도 성능을 개선함을 보여주었습니다. 더 중요한 점은, 어떠한 감독도 없이 Manager와 Worker 간의 상호작용을 통해 문장 구조를 암묵적으로 학습할 수 있다는 것입니다.