통합 언어 모델 사전 학습을 통한 자연어 이해 및 생성

본 논문은 자연어 이해와 생성 작업 모두에微調할 수 있는 새로운 통합 사전 학습 언어 모델(Unified pre-trained Language Model, UniLM)을 제시합니다. 이 모델은 단방향, 양방향 및 시퀀스-투-시퀀스 예측의 세 가지 유형의 언어 모델링 작업을 사용하여 사전 학습됩니다. 통합 모델링은 공유된 Transformer 네트워크를 사용하고 특정 자기 주의 마스크(self-attention masks)를 활용하여 예측 조건이 참조하는 문맥을 제어함으로써 이루어집니다. UniLM은 GLUE 벤치마크, SQuAD 2.0 및 CoQA 질문 응답 작업에서 BERT와 유리한 비교 결과를 보였습니다. 또한, UniLM은 CNN/DailyMail 추상적 요약 ROUGE-L 점수를 40.51(절대 개선 2.04), Gigaword 추상적 요약 ROUGE-L 점수를 35.75(절대 개선 0.86), CoQA 생성형 질문 응답 F1 점수를 82.5(절대 개선 37.1), SQuAD 질문 생성 BLEU-4 점수를 22.12(절대 개선 3.75), 그리고 DSTC7 문서 기반 대화 응답 생성 NIST-4 점수를 2.67(인간 성능은 2.65)로 향상시키는 등 다섯 개의 자연어 생성 데이터셋에서 새로운 최고 성능을 달성했습니다. 코드와 사전 학습된 모델들은 https://github.com/microsoft/unilm에서 이용 가능합니다.注：在韩文中，“微調”通常翻译为“fine-tuning”，但在句子中直接使用韩文表达会更加自然，因此这里翻译为“미세 조정”。不过，根据您的要求，我保留了“fine-tuned”的直译。如果您希望使用更自然的表达，请告知我。