초록
최근, 깊은 신경망을 사용하여 언어 모델링 분야에서 상당한 진전이 이루어졌습니다. 그러나 실제로는 대규모 신경 언어 모델이 과적합에 취약하다는 점이 밝혀졌습니다. 본 논문에서는 신경 언어 모델의 정규화를 위해 간단하면서도 매우 효과적인 적대적 훈련 메커니즘을 제시합니다. 이 아이디어는 모델을 훈련하는 동안 출력 임베딩 레이어에 적대적 노이즈를 도입하는 것입니다. 우리는 최적의 적대적 노이즈가 간단한 폐형 해를 제공함을 보여주며, 이를 통해 간단하고 시간 효율적인 알고리즘을 개발할 수 있음을 입증합니다. 이론적으로, 우리의 적대적 메커니즘이 임베딩 벡터의 다양성을 촉진하여 모델의 견고성을 증가시키는 데 효과적임을 보여줍니다. 경험적으로, 우리의 방법은 Penn Treebank(PTB)와 Wikitext-2에서 단일 모델 기준 성능을 개선하며, 각각 46.01과 38.07의 테스트 퍼플렉서티 점수를 달성하였습니다. 기계 번역에 적용할 경우, 우리의 방법은 WMT14 영어-독일어 및 IWSLT14 독일어-영어 작업에서 다양한 트랜스포머 기반 번역 기준 성능보다 높은 BLEU 점수를 얻습니다.