타겟 카테고리 코드 학습을 통한 비자기적 번역

비자율적 Transformer는 텍스트 생성 모델로서 주목받고 있는 전망 있는 기술이다. 그러나 현재의 비자율적 모델들은 자율적 모델들에 비해 번역 품질에서 여전히 뒤처지고 있다. 이 정확도 격차의 원인을 디코더 입력 간의 종속성 모델링 부족에 있다고 판단한다. 본 논문에서는 비자율 디코딩 과정에 암묵적으로 범주형 코드를 잠재 변수로 학습하는 CNAT을 제안한다. 이러한 범주형 코드 간의 상호작용은 누락된 종속성을 보완하고 모델의 표현 능력을 향상시킨다. 실험 결과, 제안하는 모델은 여러 강력한 기준 모델들과 비교하여 기계 번역 과제에서 유사하거나 더 우수한 성능을 달성함을 확인하였다.