한 달 전

대항 훈련을 통한 강건한 다국어 품사 태깅

Michihiro Yasunaga; Jungo Kasai; Dragomir Radev
대항 훈련을 통한 강건한 다국어 품사 태깅
초록

적대적 훈련(Adversarial Training, AT)은 신경망의 강력한 정규화 방법으로, 입력 변동에 대한鲁棒性을 달성하는 것을 목표로 합니다. 그러나 자연어 처리의 맥락에서 AT를 통해 얻은 강건성의 구체적인 효과는 아직 명확하지 않습니다. 본 논문에서는 AT를 활용한 신경 부사구 태깅 모델을 제안하고 분석합니다. 펜 트리뱅크 WSJ 코퍼스와 유니버설 의존성(Universal Dependencies, UD) 데이터셋(27개 언어)을 대상으로 수행한 실험에서, AT가 전체 태깅 정확도를 개선할 뿐만 아니라 1) 저자원 언어에서 과적합을 효과적으로 방지하고 2) 희귀 / 미등장 단어의 태깅 정확도를 향상시킨다는 것을 발견했습니다. 또한 3) AT에 의해 개선된 태깅 성능이 의존성 파싱과 같은 후속 작업에 기여하며, 4) AT가 모델이 더 깨끗한 단어 표현을 학습하는 데 도움이 된다는 점을 보여주었습니다. 5) 제안된 AT 모델은 다양한 시퀀스 라벨링 작업에서도 일반적으로 효과적임을 확인하였습니다. 이러한 긍정적인 결과들은 자연어 작업에서 AT의 더 많은 사용을 촉진합니다.注:在上述翻译中,“鲁棒性”是一个中文术语,正确的韩文术语应该是“강건성”。因此,修正后的翻译如下:적대적 훈련(Adversarial Training, AT)은 신경망의 강력한 정규화 방법으로, 입력 변동에 대한 강건성을 달성하는 것을 목표로 합니다. 그러나 자연어 처리의 맥락에서 AT를 통해 얻은 강건성의 구체적인 효과는 아직 명확하지 않습니다. 본 논문에서는 AT를 활용한 신경 부사구 태깅 모델을 제안하고 분석합니다. 펜 트리뱅크 WSJ 코퍼스와 유니버설 의존성(Universal Dependencies, UD) 데이터셋(27개 언어)을 대상으로 수행한 실험에서, AT가 전체 태깅 정확도를 개선할 뿐만 아니라 1) 저자원 언어에서 과적합을 효과적으로 방지하고 2) 희귀 / 미등장 단어의 태깅 정확도를 향상시킨다는 것을 발견했습니다. 또한 3) AT에 의해 개선된 태깅 성능이 의존성 파싱과 같은 후속 작업에 기여하며, 4) AT가 모델이 더 깨끗한 단어 표현을 학습하는 데 도움이 된다는 점을 보여주었습니다. 5) 제안된 AT 모델은 다양한 시퀀스 라벨링 작업에서도 일반적으로 효과적임을 확인하였습니다. 이러한 긍정적인 결과들은 자연어 작업에서 AT의 더 많은 사용을 촉진합니다.