초록
적대적 훈련(Adversarial Training, AT)은 작은 입력 노이즈를 도입함으로써 모델의 견고성을 향상시켜 심층 학습 알고리즘에 강력한 정규화 효과를 보여왔다. 언어 처리 과제에서는 적대적 훈련이 입력에 노이즈를 추가함으로써 단어 수준의 견고성을 제공하여 텍스트 분류에 유리하다. 그러나 이 방법은 충분한 문맥 정보 강화를 제공하지 못하므로, 청크 분할(chunking) 및 명명된 실체 인식(Named Entity Recognition, NER)과 같은 시퀀스 레이블링 과제에는 상대적으로 효과가 낮다. 이러한 한계를 보완하기 위해, 우리는 시퀀스 레이블링 과제에서 문맥 정보를 기반으로 한 견고성을 향상시키기 위해 마스킹된 적대적 훈련(Masked Adversarial Training, MAT)을 제안한다. MAT는 변형된 입력에서 적대적 손실을 계산할 때 문장 내 일부 단어를 마스킹하거나 대체함으로써, 더 높은 수준의 문맥 정보를 활용하여 모델의 견고성을 강화한다. 실험 결과, 제안한 방법은 시퀀스 레이블링의 정확도와 견고성 측면에서 뚜렷한 성능 향상을 보였다. 또한 ELMo 임베딩을 추가로 통합함으로써, 훨씬 적은 파라미터로 CoNLL 2000 및 2003 벤치마크에서 최첨단 기술과 비슷하거나 더 우수한 성능을 달성하였다.