SPECTER: 인용 정보를 활용한 트랜스포머를 이용한 문서 수준 표현 학습

표현 학습은 자연어 처리 시스템에서 핵심적인 요소이다. 최근의 트랜스포머 기반 언어 모델인 BERT는 강력한 텍스트 표현을 학습하지만, 이러한 모델들은 토큰 수준 및 문장 수준의 학습 목표에 초점을 맞추고 있으며, 문서 간의 관련성 정보를 활용하지 못하기 때문에 문서 수준의 표현 능력이 제한된다. 과학 문서에 대한 응용(예: 분류 및 추천)에서는 이러한 임베딩이 최종 작업에서 뛰어난 성능을 발휘한다. 우리는 문서 수준의 관련성에 대한 강력한 신호인 인용 그래프를 기반으로 트랜스포머 언어 모델을 사전 학습함으로써 과학 문서의 문서 수준 임베딩을 생성하는 새로운 방법인 SPECTER를 제안한다. 기존의 사전 학습된 언어 모델과 달리, SPECTER는 특정 작업에 맞춘 미세 조정 없이도 하류 응용에 쉽게 적용할 수 있다. 또한 문서 수준 모델에 대한 추가 연구를 촉진하기 위해, 인용 예측부터 문서 분류 및 추천에 이르는 7개의 문서 수준 작업을 포함하는 새로운 평가 기준인 SciDocs를 소개한다. 우리는 SPECTER가 이 기준에서 다양한 경쟁적인 베이스라인을 초월함을 보여준다.