CDLM: Cross-Document Language Modeling CDLM: 문서 간 언어 모델링

우리는 다중 문서 언어 모델링을 위한 새로운 사전 학습 접근법을 소개합니다. 이 접근법은 마스킹된 언어 모델링 자기 감독 학습 목표에 두 가지 주요 아이디어를 통합합니다. 첫째, 개별 문서를 고려하는 대신 여러 관련 문서의 집합으로 사전 학습을 수행하여 모델이 문서 간 관계를 학습하도록 유도합니다. 둘째, 최근의 장거리 트랜스포머를 개선하기 위해 전체 입력에 접근할 수 있는 동적 전역 주의 메커니즘을 도입하여 마스킹된 토큰을 예측합니다. 우리는 다중 문서 환경에서 쉽게 적용할 수 있는 새로운 일반적인 언어 모델인 CDLM (Cross-Document Language Model)을 공개합니다. 우리의 광범위한 분석 결과는 이 두 가지 아이디어가 CDLM의 성공에 필수적이며, 시너지 효과를 통해 여러 다중 텍스트 작업에서 새로운 최고 성능 결과를 달성한다는 것을 보여줍니다. 코드와 모델은 https://github.com/aviclu/CDLM에서 제공됩니다.