다중당사자 대화에서 스팬 기반 질의 응답을 위한 계층적 맥락 학습을 위한 Transformers

다자 대화에서 계층적 표현을 학습하는 새로운 방식의 트랜스포머를 제안한다. 먼저, 토큰 수준 및 발화 수준의 언어 모델링과 발화 순서 예측이라는 세 가지 언어 모델링 작업을 활용하여 트랜스포머를 사전 훈련한다. 이를 통해 대화 맥락 내에서 보다 나은 이해를 위해 토큰 및 발화 임베딩을 동시에 학습한다. 이후, 발화 예측과 토큰 스팬 예측 간의 다중 작업 학습을 적용하여 스팬 기반 질의응답(QA)에 대한 미세 조정을 수행한다. 제안한 방법은 FriendsQA 데이터셋에서 평가되었으며, BERT 및 RoBERTa와 같은 두 가지 최신 트랜스포머 모델 대비 각각 3.8%, 1.4%의 성능 향상을 보였다.