BART: 자연어 생성, 번역 및 이해를 위한 노이즈 제거 기반 시퀀스-투-시퀀스 사전 학습

우리는 시퀀스-투-시퀀스 모델을 사전 훈련하기 위한 디노이징 오토인코더인 BART를 제안한다. BART는 (1) 임의의 노이징 함수를 사용해 텍스트를 손상시키고, (2) 원본 텍스트를 재구성하는 모델을 학습하는 방식으로 훈련된다. 이 모델은 표준 Transformer 기반의 신경 기계 번역 아키텍처를 사용하며, 비록 단순하지만 양방향 인코더를 통해 BERT를 일반화하고, 왼쪽에서 오른쪽으로의 디코더를 통해 GPT를 일반화하며, 최근의 다양한 사전 훈련 방식들을 포괄할 수 있다. 우리는 여러 가지 노이징 접근 방식을 평가하여, 원본 문장들의 순서를 무작위로 재배열하고, 텍스트의 일부 구간을 단일 마스크 토큰으로 대체하는 새로운 인필링(in-filling) 방식이 가장 우수한 성능을 보임을 발견했다. BART는 텍스트 생성 작업에 대해 미세 조정(fine-tuning)했을 때 특히 효과적이며, 이해 작업에도 우수한 성능을 발휘한다. GLUE 및 SQuAD에서 RoBERTa와 유사한 훈련 자원을 사용했을 때 동등한 성능을 달성하며, 개괄적 대화, 질의 응답, 요약 등 다양한 작업에서 새로운 최고 성능을 기록했으며, ROUGE 점수에서 최대 6점의 향상을 기록했다. 또한, 타겟 언어 사전 훈련만으로도 기계 번역에서 백트랜슬레이션 시스템보다 BLEU 점수에서 1.1점 향상시켰다. 또한 BART 프레임워크 내에서 다른 사전 훈련 방식을 재현하는 아블레이션 실험을 보고하여, 최종 작업 성능에 가장 큰 영향을 미치는 요인을 더 정확히 평가하는 데 기여한다.