자기 감독 작업을 활용한 검색 기반 대화에서 효과적인 문맥-응답 일치 모델 학습

다중 턴 컨텍스트에 따라 적절한 응답을 선택할 수 있는 지능형 대화 시스템을 구축하는 것은 매우 도전적인 작업입니다. 기존 연구는 다양한 신경망 구조나 사전 학습된 언어 모델(PLMs)을 사용하여 컨텍스트-응답 매칭 모델을 구축하고, 일반적으로 단일 응답 예측 작업으로 학습하는 데 중점을 두고 있습니다. 이러한 접근 방식은 대화 데이터에 포함된 많은 잠재적 훈련 신호를 간과하는데, 이는 컨텍스트 이해에 유용하며 응답 예측을 위한 더 나은 특성을 생성할 수 있습니다. 또한, 기존의 대화 시스템이 전통적인 방법으로 감독되는 경우에도 여전히 일관성 부족과 불일치 등의 중요한 문제를 겪고 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 사전 학습된 언어 모델을 기반으로 설계된 대화 데이터를 위한 보조 자기 감독 작업을 사용하여 컨텍스트-응답 매칭 모델을 학습하는 방법을 제안합니다. 구체적으로, 다음 세션 예측, 발화 복원, 일관성 부족 검출 및 일관성 판별 등 네 가지 자기 감독 작업을 소개하고, 이 보조 작업들을 다중 작업 방식으로 함께 학습하여 PLM 기반 응답 선택 모델을 공동으로 훈련시킵니다. 이를 통해 보조 작업들은 매칭 모델의 학습을 안내하여 더 나은 국소 최적해를 달성하고 더욱 적절한 응답을 선택할 수 있도록 합니다. 두 벤치마크에서 수행한 실험 결과는 제안된 보조 자기 감독 작업이 검색 기반 대화에서 다중 턴 응답 선택에 유의미한 개선 효과를 가져왔음을 나타내며, 우리의 모델은 두 데이터셋 모두에서 새로운 최신 성능(SOTA) 결과를 달성했습니다.