초록
신경망 인코더-디코더 모델은 자연어 생성 작업에서 성공을 거두었습니다. 그러나 추상적 요약의 실제 적용에서는 생성된 요약이 원하는 길이를 초과하지 않도록 하는 추가적인 제약 조건을 고려해야 합니다. 본 논문에서는 신경망 인코더-디코더 모델이 길이 제약을 유지할 수 있도록 사인파 위치 인코딩(Sinusoidal Positional Encoding, Vaswani et al., 2017)을 단순하면서도 효과적으로 확장하는 방법을 제안합니다. 이전 연구들에서 각 길이를 나타내는 임베딩을 학습하는 것과 달리, 제안된 방법은 훈련 데이터에 목표 길이가 포함되어 있지 않더라도 임의의 길이의 텍스트를 생성할 수 있습니다. 실험 결과는 제안된 방법이 생성 길이를 제어할 뿐만 아니라 ROUGE 점수도 개선시킬 수 있음을 보여줍니다.