초록
Transformer 기반 양방향 인코더 표현(Bidirectional Encoder Representations from Transformers, BERT)은 최근 자연어 처리 작업의 다양한 분야에서 발전을 이룬 사전 훈련된 언어 모델의 최신 형태를 나타냅니다. 본 논문에서는 BERT가 요약 작업에 어떻게 유용하게 적용될 수 있는지를 보여주고, 추출형 및 생성형 모델 모두에 대한 일반적인 프레임워크를 제안합니다. 우리는 문서 수준의 새로운 인코더를 소개하는데, 이는 문서의 의미를 표현하고 그 문장들에 대한 표현을 얻는데 사용됩니다. 우리의 추출형 모델은 이 인코더 위에 여러 개의 문장 간 Transformer 레이어를 쌓아 구축되었습니다. 생성형 요약에 대해서는 인코더와 디코더 사이의 불일치(인코더는 사전 훈련되었지만 디코더는 그렇지 않음)를 완화하기 위해 서로 다른 최적화기를 사용하는 새로운 미세 조정 일정을 제안합니다. 또한 두 단계의 미세 조정 접근법이 생성된 요약의 품질을 더욱 향상시킬 수 있음을 보여줍니다. 세 가지 데이터셋에서 수행한 실험 결과, 우리의 모델은 추출형과 생성형 설정 모두에서 최고 수준의 성능을 달성하였습니다. 우리의 코드는 https://github.com/nlpyang/PreSumm 에서 확인할 수 있습니다.