초록
대화에 대한 의미 있는 자동 평가 지표의 부족은 개방형 대화 연구의 발전을 저해해 왔다. 기존의 표준 언어 생성 평가 지표들이 대화 모델 평가에 효과적이지 않다는 것이 입증되었다. 이를 해결하기 위해 본 논문은 대화를 위한 비지도형(unsupervised)이고 참조 기반(reference-free) 평가 지표인 USR(USR: UnSupervised and Reference-free)를 제안한다. USR은 참조 문장이 필요 없는 지표로, 비지도 학습 모델을 활용하여 대화의 바람직한 특성들을 측정하도록 훈련한다. USR은 주제 중심 대화(Topical-Chat)에서 인간 평가와 높은 상관관계를 보이며, 대화 단위(turn-level)에서 0.42, 시스템 단위(system-level)에서 1.0의 상관 계수를 기록하였다. 또한 페르소나 기반 대화(PersonaChat)에서도 대화 단위에서 0.48, 시스템 단위에서 1.0의 상관 계수를 보였다. 더불어 USR은 대화의 여러 바람직한 특성에 대해 해석 가능한 측정값을 제공한다.