2달 전

주목력 집중 또는 분산 시기 학습: 신경 기계 번역을 위한 자기 적응 주목력 온도

Junyang Lin; Xu Sun; Xuancheng Ren; Muyu Li; Qi Su
주목력 집중 또는 분산 시기 학습: 신경 기계 번역을 위한 자기 적응 주목력 온도
초록

대부분의 신경 기계 번역(Neural Machine Translation, NMT) 모델은 인코더-디코더 프레임워크와 어텐션 메커니즘을 갖춘 시퀀스-투-시퀀스(Sequence-to-Sequence, Seq2Seq) 모델을 기반으로 합니다. 그러나 전통적인 어텐션 메커니즘은 각 시간 단계에서 디코딩을 동일한 행렬로 동등하게 처리하므로 문제가 있습니다. 이는 다른 유형의 단어(예: 내용 단어와 기능 단어)에 대한 어텐션의 부드러움이 다르게 적용되어야 하기 때문입니다. 따라서 우리는 어텐션 온도를 통해 어텐션의 부드러움을 제어하는 메커니즘인 자기 적응 온도 제어(Self-Adaptive Control of Temperature, SACT)를 도입한 새로운 모델을 제안합니다. 중국어-영어 번역과 영어-베트남어 번역에 대한 실험 결과는 우리의 모델이 베이스라인 모델보다 우수함을 입증하였으며, 분석 및 사례 연구는 우리의 모델이 소스 측 문맥에서 가장 관련성이 높은 요소에 주목하고 고품질의 번역을 생성할 수 있음을 보여줍니다.

주목력 집중 또는 분산 시기 학습: 신경 기계 번역을 위한 자기 적응 주목력 온도 | 최신 연구 논문 | HyperAI초신경