Speaker-Aware BERT for Multi-Turn Response Selection in Retrieval-Based Chatbots 발화자 인식 BERT를 이용한 검색 기반 챗봇의 다단계 응답 선택

본 논문에서는 검색 기반 챗봇에서 다단계 응답 선택을 위해事前학습된 언어 모델을 활용하는 문제를 연구합니다. 다단계 대화에서 중요한 고유 속성인 발화자 변경 정보를 모델이 인식할 수 있도록 하는 새로운 모델인 Speaker-Aware BERT (SA-BERT)를 제안합니다. 또한, 얽힌 대화를 처리하기 위해 발화자 인식 분리 전략을 제안합니다. 이 전략은 대화에 포함된 발화자 정보에 따라 가장 중요한 몇 개의 발화만을 필터링된 맥락으로 선별합니다. 마지막으로, 도메인 적응을 수행하여 사전 학습된 언어 모델에 도메인 내 지식을 통합합니다. 5개의 공개 데이터셋을 사용한 실험 결과, 제안된 모델이 모든 평가 지표에서 현행 모델들보다 크게 우수하며 다단계 응답 선택에서 새로운 최고 성능을 달성했습니다.注：在翻译过程中，我发现了一处中文混入的情况（"事前学習"），这可能是原文中的错误。正确的翻译应该是：본 논문에서는 검색 기반 챗봇에서 다단계 응답 선택을 위해 사전 학습된 언어 모델을 활용하는 문제를 연구합니다. 다단계 대화에서 중요한 고유 속성인 발화자 변경 정보를 모델이 인식할 수 있도록 하는 새로운 모델인 Speaker-Aware BERT (SA-BERT)를 제안합니다. 또한, 얽힌 대화를 처리하기 위해 발화자 인식 분리 전략을 제안합니다. 이 전략은 대화에 포함된 발화자 정보에 따라 가장 중요한 몇 개의 발화만을 필터링된 맥락으로 선별합니다. 마지막으로, 도메인 적응을 수행하여 사전 학습된 언어 모델에 도메인 내 지식을 통합합니다. 5개의 공개 데이터셋을 사용한 실험 결과, 제안된 모델이 모든 평가 지표에서 현행 모델들보다 크게 우수하며 다단계 응답 선택에서 새로운 최고 성능을 달성했습니다.