초록
최신의 기계 번역 시스템은 인코더-디코더 아키텍처를 기반으로 하며, 먼저 입력 시퀀스를 인코딩한 후 그 인코딩을 바탕으로 출력 시퀀스를 생성합니다. 이들 모두 디코더 상태에 따라 소스 토큰의 고정된 인코딩을 재결합하는 주의 메커니즘(attention mechanism)과 연결되어 있습니다. 우리는 이와 다른 접근 방식을 제안하는데, 이는 두 시퀀스 모두에 걸쳐 단일 2차원 합성곱 신경망(convolutional neural network)을 사용합니다. 우리 네트워크의 각 레이어는 지금까지 생성된 출력 시퀀스를 바탕으로 소스 토큰을 다시 코딩합니다. 따라서 주의 유사 속성은 네트워크 전체에 걸쳐 광범위하게 나타납니다. 우리의 모델은 우수한 결과를 제공하며, 개념적으로 더 간단하고 매개변수가 적음에도 불구하고 최신의 인코더-디코더 시스템을 능가합니다.