BERT의 응답 선택을 위한 효과적인 도메인 적응 후 훈련 방법

우리는 검색 기반 대화 시스템에서 다단계 응답 선택에 집중하고 있습니다. 본 논문에서는 강력한 사전 학습 언어 모델인 양방향 트랜스포머 인코더 표현(Bi-directional Encoder Representations from Transformer, BERT)을 다단계 대화 시스템에 활용하고, 도메인 특화 코퍼스에서의 효과적인 후속 학습 방법을 제안합니다. BERT는 다양한 자연어 처리(NLP) 작업에 쉽게 적용될 수 있으며 각 작업의 이전 베이스라인보다 우수한 성능을 보이지만, 특정 도메인에 너무 집중된 작업 코퍼스가 있을 경우 여전히 한계가 존재합니다. 도메인 특화 코퍼스(예: 우분투 코퍼스)에서의 후속 학습은 일반 코퍼스(예: 영어 위키백과)에 나타나지 않는 문맥적 표현과 단어를 학습하는 데 도움을 줍니다. 실험 결과, 우리의 접근 방식은 두 개의 응답 선택 벤치마크(즉, 우분투 코퍼스 V1, 자문 코퍼스)에서 R@1 성능 향상률 5.9%와 6%를 달성하여 새로운 최고 수준의 성능을 보였습니다.