SeqVAT: 반감독학습 시퀀스 레이블링을 위한 가상 적대적 훈련

가상 적대적 훈련(Virtual Adversarial Training, VAT)은 감독 학습 및 반감독 학습 환경에서 모델의 강건성(로버스트성)을 향상시키는 강력한 기법이다. 이 방법은 효과적이며 이미지 분류 및 텍스트 분류와 같은 다양한 작업에 쉽게 적용 가능하다. 그러나 이전의 접근 방식이 조건부 확률장(Conditional Random Field, CRF)과 VAT를 결합할 수 없기 때문에, 명명된 실체 인식(Named Entity Recognition, NER)과 같은 시퀀스 레이블링 작업에 미치는 효과는 상대적으로 크지 않았다. CRF는 레이블 전이에 대한 제약을 부여함으로써 시퀀스 모델의 정확도를 크게 향상시키며, 대부분의 최신 시퀀스 레이블링 모델 아키텍처에서 핵심 구성 요소로 활용된다. 본 논문에서는 CRF를 갖는 시퀀스 레이블링 모델에 VAT를 자연스럽게 적용할 수 있는 SeqVAT을 제안한다. 실험적 연구 결과, SeqVAT은 감독 학습 환경에서 기존의 베이스라인 대비 시퀀스 레이블링 성능을 크게 향상시키는 것은 물론, 반감독 학습 환경에서도 최신 기법들을 초월하는 성능을 보였다.