질문 응답 시스템에서 의미 검색을 위한 다중 작업 문장 인코딩 모델

질의응답(QA) 시스템은 사용자의 질문에 대해 자동으로 적절한 응답을 제공하는 데 사용된다. 문장 매칭은 QA 시스템에서 핵심적인 작업으로, 일반적으로 동의어 표현 식별(Paraphrase Identification, PI) 문제로 재정의된다. 주어진 질문에 대해 이 작업의 목적은 QA 지식 기반에서 가장 유사한 질문을 찾는 것이다. 본 논문에서는 문장 간 관계를 연결 그래프로 표현하고, 다중 작업 학습(multi-task learning) 모델을 적용하여 문장 매칭과 문장 의도 분류 문제를 동시에 해결하는 다중 작업 문장 인코딩 모델(Multi-task Sentence Encoding Model, MSEM)을 제안한다. 또한, 제안한 모델과 근사 근접 이웃(Approximate Nearest Neighbor, ANN) 기술을 결합한 일반적인 의미적 검색 프레임워크를 구현하여, 온라인 서비스 시 모든 후보 질문 중 가장 유사한 질문을 매우 빠르게 탐색할 수 있도록 했다. 실험 결과, 기존의 문장 매칭 모델들과 비교하여 제안하는 방법이 우수함을 입증하였다.