단일事前学習된 트랜스포머를 사용한 샘플 효율적인 텍스트 요약 注意：在韩文中，“事前学習”通常写作“사전 학습”。因此，更准确的翻译应该是： 단일 사전 학습된 트랜스포머를 사용한 샘플 효율적인 텍스트 요약

언어 모델(LM) 사전 학습은 다양한 언어 이해 과제에서 뛰어난 성능과 샘플 효율성을 달성하였습니다. 그러나 추상적 요약과 같은 생성 과제에 대해 사전 학습된 LM을 어떻게 가장 효과적으로 활용할 수 있는지는 여전히 명확하지 않습니다. 특히 샘플 효율성을 향상시키는 방법에 대한 연구가 부족합니다. 이러한 시퀀스-투-시퀀스 설정에서, 이전 연구에서는 사전 학습된 가중치를 인코더와/또는 디코더 네트워크에 로드하는 실험을 수행하였지만, 인코더-디코더 주의 메커니즘(attention mechanism)의 가중치는 사전 학습되지 않았습니다. 대신, 우리는 소스를 인코딩하고 요약을 생성하는 동일한 트랜스포머 LM을 사용하는 디코더만으로 구성된 사전 학습된 네트워크를 사용하였습니다. 이로써 모든 네트워크 매개변수, 소스 상태에 대한 주의 메커니즘을 제어하는 매개변수 포함하여, 미세 조정(fine-tuning) 단계 전에 사전 학습이 이루어졌음을 보장합니다. CNN/Daily Mail 데이터셋에서 수행한 실험 결과, 우리의 사전 학습된 트랜스포머 LM은 제한적인 데이터 환경에서 사전 학습된 트랜스포머 인코더-디코더 네트워크보다 크게 개선되는 것으로 나타났습니다. 예를 들어, 단지 1%의 훈련 데이터(약 3000개 예제)만 사용하여도 13.1 ROUGE-2 점수를 얻었으며, 이는 사전 학습된 인코더-디코더 모델이 2.3 ROUGE-2 점수를 얻은 것과 비교됩니다.