초록
언어 모델(LM) 사전 학습은 텍스트 코퍼스에서 다양한 지식을 학습하여 다운스트림 작업에 도움을 줍니다. 그러나 BERT와 같은 기존 방법들은 단일 문서만을 모델링하며, 여러 문서를 넘어서는 의존성이나 지식을 포착하지 못합니다. 본 연구에서는 문서 간의 링크(예: 하이퍼링크)를 활용하는 LM 사전 학습 방법인 LinkBERT를 제안합니다. 주어진 텍스트 코퍼스를 문서 그래프로 보고, 링크된 문서들을 동일한 문맥에 배치하여 LM 입력을 생성합니다. 그런 다음 마스크 언어 모델링과 새로운 제안인 문서 관계 예측이라는 두 가지 공동 자기 감독 목표를 사용하여 LM을 사전 학습합니다. 우리는 LinkBERT가 일반 영역(하이퍼링크가 있는 위키백과에서 사전 학습)과 생물의학 영역(인용 링크가 있는 PubMed에서 사전 학습)에서 다양한 다운스트림 작업에서 BERT를 능가함을 보여줍니다. 특히 LinkBERT는 다단계 추론과 소수 샷 질문 응답(HotpotQA와 TriviaQA에서 +5% 절대 개선)에 매우 효과적이며, 우리의 생물의학 LinkBERT는 다양한 BioNLP 작업(BioASQ와 USMLE에서 +7%)에서 새로운 최고 성능을 달성하였습니다. 우리는 사전 학습된 모델인 LinkBERT와 BioLinkBERT, 그리고 코드와 데이터를 https://github.com/michiyasunaga/LinkBERT 에 공개합니다.