다중 해상도 순환 신경망: 대화 응답 생성에의 적용

우리는 다중해상도 순환 신경망(Multiresolution Recurrent Neural Network)을 소개합니다. 이 모델은 시퀀스-투-시퀀스 프레임워크를 확장하여 자연어 생성을 두 개의 병렬적인 이산 확률 과정으로 모델링합니다: 고차원의 거친 토큰 시퀀스와 자연어 토큰 시퀀스입니다. 고차원의 거친 토큰을 추정하거나 학습하는 방법은 여러 가지가 있지만, 우리는 간단한 추출 절차가 충분히 많은 고차원 담화 의미론을 포착할 수 있다고 주장합니다. 이러한 절차는 두 시퀀스 모두에 대해 정확한 결합 로그-尤似度를 최대화함으로써 다중해상도 순환 신경망을 학습할 수 있게 합니다. 자연어 토큰(단어 혼동도)에 대한 표준 로그-尤似度 목적 함수와 대조적으로, 결합 로그-尤似度를 최적화하면 모델이 고차원 추상화를 모델링하도록 유도합니다.우리는 제안된 모델을 두 가지 도전적인 영역에서 대화 응답 생성 작업에 적용했습니다: 우분투 기술 지원 영역과 트위터 대화입니다. 우분투에서는 자동 평가 지표와 인간 평가 연구에 따라 경쟁 접근법보다 크게 우수한 성능을 보여, 최신 결과를 달성했습니다. 트위터에서는 자동 평가 지표에 따르면 더 관련성이 높고 주제에 맞는 응답을 생성하는 것으로 나타났습니다. 마지막으로, 우리의 실험은 제안된 모델이 자연어의 희소성을 극복하는 데 더욱 능숙하며 장기 구조를 포착하는 데 더 효과적임을 입증했습니다.注：在翻译中，“로그-尤似度”应为“로그-우도”（log-likelihood）。以下是修正后的版本：우리는 다중해상도 순환 신경망(Multiresolution Recurrent Neural Network)을 소개합니다. 이 모델은 시퀀스-투-시퀀스 프레임워크를 확장하여 자연어 생성을 두 개의 병렬적인 이산 확률 과정으로 모델링합니다: 고차원의 거친 토큰 시퀀스와 자연어 토큰 시퀀스입니다. 고차원의 거친 토큰을 추정하거나 학습하는 방법은 여러 가지가 있지만, 우리는 간단한 추출 절차가 충분히 많은 고차원 담화 의미론을 포착할 수 있다고 주장합니다. 이러한 절차는 두 시퀀스 모두에 대해 정확한 결합 로그-우도(log-likelihood)를 최대화함으로써 다중해상도 순환 신경망을 학습할 수 있게 합니다. 자연어 토큰(단어 혼동도)에 대한 표준 로그-우도 목적 함수와 대조적으로, 결합 로그-우도를 최적화하면 모델이 고차원 추상화를 모델링하도록 유도합니다.우리는 제안된 모델을 두 가지 도전적인 영역에서 대화 응답 생성 작업에 적용했습니다: 우분투 기술 지원 영역과 트위터 대화입니다. 우분투에서는 자동 평가 지표와 인간 평가 연구에 따라 경쟁 접근법보다 크게 우수한 성능을 보여, 최신 결과를 달성했습니다. 트위터에서는 자동 평가 지표에 따르면 더 관련성이 높고 주제에 맞는 응답을 생성하는 것으로 나타났습니다. 마지막으로, 우리의 실험은 제안된 모델이 자연어의 희소성을 극복하는 데 더욱 능숙하며 장기 구조를 포착하는 데 더 효과적임을 입증했습니다.