초록
본 논문에서는 입력 시퀀스를 기반으로 출력 시퀀스를 두 단계로 생성할 수 있는 새로운 프리트레이닝 기반 인코더-디코더 프레임워크를 제안합니다. 모델의 인코더 부분에서는 BERT를 사용하여 입력 시퀀스를 문맥 표현으로 인코딩합니다. 디코더 부분에서는 모델에 두 단계가 포함됩니다. 첫 번째 단계에서는 트랜스포머 기반 디코더를 사용하여 초안 출력 시퀀스를 생성합니다. 두 번째 단계에서는 초안 시퀀스의 각 단어를 마스킹한 후 BERT에 입력합니다. 그 다음, BERT가 생성한 입력 시퀀스와 초안 표현을 결합하여, 마스킹된 각 위치에서 개선된 단어를 예측하기 위해 트랜스포머 기반 디코더를 사용합니다. 우리 연구팀이 아는 한, 본 접근법은 텍스트 생성 작업에 BERT를 적용하는 최초의 방법입니다. 이 방향의 첫 걸음으로, 제안된 방법을 텍스트 요약 작업에 평가하였습니다. 실험 결과는 본 모델이 CNN/Daily Mail 및 뉴욕타임즈 데이터셋에서 새로운 최고 성능을 달성함을 보여줍니다.