초록
현대의 신경 시퀀스 생성 모델은 처음부터 단계적으로 토큰을 생성하거나 고정된 길이로 제한된 토큰 시퀀스를 (반복적으로) 수정하도록 설계되어 있습니다. 본 연구에서는 이러한 유연하고 적합한 시퀀스 생성을 위해 Levenshtein Transformer라는 새로운 부분 자동 회귀 모델을 개발하였습니다. 기존 접근 방식과 달리, 우리 모델의 원자적 연산은 삽입과 삭제입니다. 이들의 조합은 생성뿐만 아니라 동적 길이 변경을 가능하게 하는 시퀀스 정제를 촉진합니다. 또한, 이들 연산의 보완적인 특성을 활용하여 하나가 다른 것의 학습 신호로 효과적으로 이용될 수 있도록 전용된 새로운 훈련 기법들을 제안합니다. 제안된 모델을 적용한 실험들은 생성(예: 기계 번역, 요약) 및 정제 작업(예: 자동 후편집) 모두에서 유사한 성능을 달성하면서도 효율성이 크게 향상되었습니다. 우리는 또한 기계 번역으로 훈련된 Levenshtein Transformer가 자동 후편집에 대해 매우 직관적으로 사용될 수 있음을 통해 모델의 유연성을 추가로 확인하였습니다.