PRIMERA: 다중문서 요약을 위한 계층적 마스크 문장 사전학습

우리는 요약에 초점을 맞춘 다중 문서 표현을 위한 사전 훈련 모델인 PRIMERA를 소개합니다. 이 모델은 데이터셋에 특화된 아키텍처와 대량의 피니터닝 레이블 데이터를 줄이는 데 기여합니다. PRIMERA는 문서 간 정보를 연결하고 집계하는 능력을 학습시키기 위해 새로 제안한 사전 훈련 목표를 사용합니다. 또한, 연결된 입력 문서 처리를 단순화하기 위해 효율적인 인코더-디코더 트랜스포머를 활용합니다. 3개의 서로 다른 도메인에서 나온 6개의 다중 문서 요약 데이터셋에 대해 제로샷, 피셔샷, 그리고 완전 지도 학습 설정에서 광범위한 실험을 수행한 결과, PRIMERA는 대부분의 설정에서 현재 최고 성능을 기록하는 데이터셋 특화 모델 및 사전 훈련 모델을 크게 앞서는 성능을 보였습니다. 코드와 사전 훈련 모델은 \url{https://github.com/allenai/PRIMER}에서 확인할 수 있습니다.