초록
이 연구에서는 비자기적 번역(NAT) 모델에 국소적 자기회귀 번역(LAT) 메커니즘을 도입하여 목표 출력 간의 국소적 종속성을 포착한다. 구체적으로, 각 목표 출력 위치에서 단일 토큰을 예측하는 대신, 자기회귀 방식으로 짧은 토큰 시퀀스를 예측한다. 또한 출력 조각들을 정렬하고 병합하여 하나의 최종 출력 시퀀스로 만드는 효율적인 병합 알고리즘을 설계하였다. LAT는 조건부 마스킹 언어 모델(CMLM; Ghazvininejad 등, 2019)에 통합하였으며, 유사하게 반복적 디코딩 방식을 채택하였다. 다섯 가지 번역 작업에서의 실험 결과, CMLM 대비 제안하는 방법은 유사하거나 더 뛰어난 성능을 달성하면서도 더 적은 디코딩 반복 횟수로 수행되어 2.5배의 속도 향상을 가져왔다. 추가 분석 결과, 본 방법은 반복 번역을 줄이고, 긴 문장에서 더 우수한 성능을 발휘함을 확인할 수 있었다.