Align, Mask and Select: 언어 표현 모델에 상식 지식을 통합하는 간단한 방법

최신 사전 학습 언어 표현 모델, 예를 들어 트랜스포머의 양방향 인코더 표현(Bidirectional Encoder Representations from Transformers, BERT)과 같은 모델은 거의 일반 상식 지식이나 다른 지식을 명시적으로 통합하지 않습니다. 본 연구에서는 일반 상식 지식을 언어 표현 모델에 통합하기 위한 사전 학습 접근법을 제안합니다. 우리는 이 접근법으로 신경망 기반 언어 표현 모델을 사전 학습하기 위해 일반 상식 관련 다중 선택 질문 답변 데이터셋을 구축하였습니다. 이 데이터셋은 제안된 "정렬, 마스킹, 선택"("align, mask, and select", AMS) 방법을 통해 자동으로 생성되었습니다. 또한 다양한 사전 학습 작업들을 조사하였습니다. 실험 결과는 제안된 접근법을 사용하여 사전 학습한 후 미세 조정(fine-tuning)한 모델이 두 개의 일반 상식 관련 벤치마크인 CommonSenseQA와 Winograd Schema Challenge에서 이전 최신 모델들보다 유의미한 향상을 보였음을 입증합니다. 또한 제안된 사전 학습 접근법 이후에 미세 조정한 모델들이 문장 분류 및 자연어 추론 등의 다른 NLP 작업에서도 원래 BERT 모델들과 비슷한 성능을 유지함을 확인할 수 있었습니다. 이러한 결과들은 제안된 접근법이 일반 상식 관련 NLP 작업에서 크게 성능을 향상시키면서도 일반적인 언어 표현 능력에는 악영향을 주지 않음을 검증합니다.