Dial-MAE: 대화형 마스킹 오토인코더를 이용한 검색 기반 대화 시스템

대화 응답 선택은 주어진 사용자와 시스템 발화 이력을 기반으로 적절한 응답을 여러 후보 중에서 선택하는 것을 목표로 합니다. 대부분의 기존 연구는 주로 교차 인코더를 위한 사후 훈련과 미세 조정에 초점을 맞추고 있습니다. 그러나 대화 응답 선택을 위한 밀집 인코더에 특화된 사후 훈련 방법은 아직 없습니다. 우리는 현재의 언어 모델이 밀집 대화 시스템(예: BERT)을 기반으로 밀집 인코더로 사용될 때, 대화 맥락과 응답을 별도로 인코딩하여 두 표현 간의 일치성을 달성하기 어려움을 주장합니다. 따라서, 우리는 Dial-MAE (대화 문맥 마스킹 오토인코더, Dialogue Contextual Masking Auto-Encoder)라는 단순하면서도 효과적인 사후 훈련 기술을 제안합니다. Dial-MAE는 비대칭 인코더-디코더 구조를 사용하여 대화 의미를 밀집 벡터로 압축하며, 이는 대화 맥락과 응답의 특징 간에 더 나은 일치성을 달성합니다. 우리의 실험 결과는 Dial-MAE가 매우 효과적이며, 두 가지 일반적으로 평가되는 벤치마크에서 최신 수준의 성능을 보임을 입증하였습니다.