MPC-BERT: 다중 당사자 대화 이해를 위한 사전 학습 언어 모델

최근, 다자 대화(Multi-Party Conversation, MPC)를 위한 다양한 신경망 모델들이 수신자 인식, 발화자 식별 및 응답 예측 등의 여러 과제에서 놀라운 개선을 이루었습니다. 그러나 기존의 MPC 방법들은 일반적으로 대화 참여자와 발화를 개별적으로 표현하며, MPC에 내재된 복잡한 구조를 무시하는 경우가 많습니다. 이러한 구조는 중요한 대화 참여자와 발화의 의미론적 정보를 제공하여 대화 이해 과정을 향상시킬 수 있습니다. 이를 위해 우리는 MPC-BERT라는 사전 학습 모델을 제안합니다. 이 모델은 '누가 누구에게 무엇을 말하는지'를 통합된 모델로 학습하기 위해 여러 정교한 자기 지도 학습 과제들을 고려합니다. 특히, 이러한 과제들은 (1) 대화 참여자의 구조 모델링(수신 발화 인식, 동일 발화자 검색, 포인터 일관성 구분)과 (2) 발화 의미론적 모델링(마스킹된 공유 발화 복원, 공유 노드 감지)으로 일반적으로 분류될 수 있습니다. 우리는 MPC-BERT를 수신자 인식, 발화자 식별 및 응답 선택이라는 세 가지 하위 과제에서 평가하였습니다. 실험 결과는 MPC-BERT가 이전 방법들보다 크게 우월하며, 두 벤치마크에서 모든 세 가지 하위 과제에서 새로운 최고 성능을 달성함을 보여주었습니다.