SpanBERT: 구간 표현 및 예측을 통한 사전 학습 개선

우리는 텍스트 스패닝을 더 잘 표현하고 예측하기 위해 설계된 사전 학습 방법인 SpanBERT를 제시합니다. 우리의 접근 방식은 (1) 임의의 토큰 대신 연속적인 무작위 스패닝을 마스킹하고, (2) 마스킹된 스패닝의 경계 표현을 그 안의 개별 토큰 표현에 의존하지 않고 전체 내용을 예측하도록 학습시키는 것으로 BERT를 확장합니다. SpanBERT는 질문 응답과 공참조 해결 등 스패닝 선택 작업에서 상당한 성능 향상을 보이며, BERT와 우리보다 잘 조정된 기준 모델보다 일관되게 우수한 성능을 보입니다. 특히, BERT-large와 동일한 학습 데이터와 모델 크기를 사용하여, 단일 모델로 SQuAD 1.1과 2.0에서 각각 94.6%와 88.7%의 F1 점수를 얻었습니다. 또한 OntoNotes 공참조 해결 작업(79.6% F1)에서 새로운 최고 수준의 성능을 달성했으며, TACRED 관계 추출 벤치마크에서도 강력한 성능을 보였습니다. GLUE에서도 성능 향상이 확인되었습니다.