2달 전

가중치 공유를 이용한 비지도 신경망 기계 번역

Zhen Yang; Wei Chen; Feng Wang; Bo Xu
가중치 공유를 이용한 비지도 신경망 기계 번역
초록

비지도 신경 기계 번역(NMT)은 최근 제안된 기계 번역 방법으로, 라벨이 부착되지 않은 데이터를 사용하지 않고 모델을 훈련시키는 것을 목표로 합니다. 비지도 NMT에 대해 제안된 모델들은 종종 두 가지 다른 언어의 문장 쌍을 공유 잠재 공간(shared-latent space)으로 매핑하기 위해 하나의 공유 인코더만을 사용하는데, 이는 각 언어의 고유한 내부 특성(예: 스타일, 용어, 문장 구조)을 유지하는 데 약점이 있습니다. 이 문제를 해결하기 위해, 우리는 입력 문장의 고차 표현을 추출하는 역할을 하는 일부 가중치를 공유하면서도 두 개의 독립적인 인코더를 활용하는 확장을 소개합니다. 또한, 로컬 GAN과 글로벌 GAN이라는 두 가지 다른 생성적 적대 네트워크(GANs)를 제안하여 언어 간 번역을 강화합니다. 이 새로운 접근법을 통해 우리는 영어-독일어, 영어-프랑스어 및 중국어-영어 번역 작업에서 상당한 개선을 이루었습니다.

가중치 공유를 이용한 비지도 신경망 기계 번역 | 최신 연구 논문 | HyperAI초신경