18일 전

검색 기반 대화에서 다중 유형의 딥 상호작용 표현을 활용한 응답 순위 매기기

{Dongyan Zhao, Rui Yan, Wei Wu, Jiazhan Feng, Chongyang Tao, Ruijian Xu}
초록

다중 대화 턴 맥락에 따라 적절한 응답을 선택할 수 있는 지능형 대화 시스템을 구축하는 것은 세 가지 측면에서 도전적이다. 첫째, 맥락-응답 쌍의 의미는 단어, 구, 하위 문장 등 다양한 분할 수준의 언어 단위에 기반한다. 둘째, 대화 데이터에는 지역적(예: 단어 주변의 작은 창) 및 장거리(예: 맥락과 응답 사이를 넘나드는 단어들) 의존성이 동시에 존재할 수 있다. 셋째, 맥락과 응답 후보 간의 관계는 때로는 다수의 관련 의미적 단서에 기반하거나, 실제 사례에서는 상대적으로 암묵적인 의미적 단서에 의해 형성된다. 그러나 기존의 접근 방식은 대화를 단일 유형의 표현으로만 인코딩하며, 맥락과 응답 후보 간의 상호작용 과정을 비교적 � 浅 层적으로 수행하기 때문에 대화 내용에 대한 충분한 이해를 이루기 어렵고, 맥락과 응답 간의 의미적 관련성 인식에 장애가 될 수 있다. 이러한 문제를 해결하기 위해, 우리는 다중 유형의 심층적 상호작용 표현을 탐색하여 맥락-응답 매칭 모델을 구축하기 위한 대화 응답 선택을 위한 대표성[K]-상호작용[L]-매칭 프레임워크를 제안한다. 특히, 발화-응답 쌍에 대해 다양한 유형의 표현을 구성하고, 교대적 인코딩과 상호작용을 통해 이를 심화시킨다. 이를 통해 모델은 표현 단계에서 이웃 요소 간의 관계, 구문 패턴, 장거리 의존성을 효과적으로 처리할 수 있으며, 맥락-응답 쌍 간의 다중 레이어 상호작용을 통해 보다 정확한 예측을 가능하게 한다. 공개 벤치마크 3개에 대한 실험 결과는 제안한 모델이 기존의 전통적인 맥락-응답 매칭 모델보다 유의미하게 우수하며, 검색 기반 대화 시스템에서 다중 턴 응답 선택에 있어 BERT 모델보다 약간 더 나은 성능을 달성함을 보여준다.