온라인 및 선형 시간 주의력을 강제적인 단조 정렬을 통해 실현하기

주목 메커니즘을 갖춘 순환 신경망 모델은 다양한 시퀀스-투-시퀀스 문제에서 매우 효과적임이 입증되었습니다. 그러나 소프트 주목 메커니즘이 출력 시퀀스의 각 요소를 생성할 때 전체 입력 시퀀스를 통과하는 것은 온라인 환경에서의 사용을 배제하고, 이차 시간 복잡도를 초래합니다. 많은 관심 있는 문제들에서 입력과 출력 시퀀스 요소 간의 정렬이 단조롭다는 인사이트에 기반하여, 우리는 테스트 시에 온라인으로 그리고 선형 시간 내에 주목을 계산할 수 있는 끝까지 미분 가능한 단조적 정렬 학습 방법을 제안합니다. 우리는 문장 요약, 기계 번역, 온라인 음성 인식 문제들을 통해 우리의 접근 방식을 검증하였으며, 기존의 시퀀스-투-시퀀스 모델들과 경쟁력 있는 결과를 달성하였습니다.