다양성과 관련성을 동시에 최적화하는 신경망 응답 생성

최근의 신경망 대화 모델들은 큰 잠재력을 보여주었지만, 종종 지루하고 일반적인 응답을 생성하는 경향이 있습니다. 대화 모델의 출력을 다양화하기 위해 다양한 접근 방식이 탐구되었으나, 개선은 종종 관련성 감소의 대가를 치르는 경우가 많습니다. 본 논문에서는 다양성과 관련성을 동시에 최적화하는 SpaceFusion 모델을 제안합니다. 이 모델은 새로운 정규화 항들을 활용하여 시퀀스-투-시퀀스(sequence-to-sequence) 모델의 잠재 공간과 오토인코더(autoencoder) 모델의 잠재 공간을 융합합니다. 그 결과, 예측된 응답 벡터로부터의 거리와 방향이 각각 관련성과 다양성을 대략적으로 일치시키는 잠재 공간을 유도합니다. 이러한 특성은 또한 잠재 공간의 직관적인 시각화에 적합합니다. 자동 평가와 인간 평가 결과 모두 제안된 접근 방식이 강력한 기준모델들에 비해 다양성과 관련성 측면에서 상당한 개선을 가져왔음을 입증하고 있습니다.