검색 기반 대화 시스템의 성능 향상을 위한 세밀한 후기학습

검색 기반 대화 시스템은 사전 훈련된 언어 모델을 사용할 경우 뛰어난 성능을 발휘하며, 이에는 트랜스포머 기반의 양방향 인코더 표현(BERT)이 포함된다. 다중 턴 응답 선택 과정에서 BERT는 다수의 발화로 구성된 맥락과 응답 간의 관계를 학습하는 데 중점을 둔다. 그러나 이와 같은 훈련 방식은 맥락 내 각 발화 간의 관계를 충분히 고려하지 못한다는 한계가 있다. 이로 인해 응답 선택에 필수적인 맥락 흐름을 완전히 이해하지 못하는 문제가 발생한다. 이러한 문제를 해결하기 위해, 다중 턴 대화의 특성을 반영하는 새로운 세밀한 후 훈련 방법을 제안한다. 구체적으로, 대화 세션 내 각 단기 맥락-응답 쌍을 개별적으로 훈련함으로써 발화 수준의 상호작용을 학습한다. 더불어 새로운 훈련 목표인 발화 관련성 분류를 도입함으로써, 대화 발화 간의 의미적 관련성과 통일성을 이해할 수 있도록 한다. 실험 결과, 제안한 모델은 세 가지 벤치마크 데이터셋에서 기존 최고 성능을 크게 상회하는 새로운 최고 성능을 달성하였다. 이는 세밀한 후 훈련 방법이 응답 선택 작업에 매우 효과적임을 시사한다.