11일 전

자기주의 메커니즘을 활용한 대립적 전이 학습을 통한 중국어 명명된 실체 인식

{Yubo Chen, Pengfei Cao, Jun Zhao, Shengping Liu, Kang Liu}
자기주의 메커니즘을 활용한 대립적 전이 학습을 통한 중국어 명명된 실체 인식
초록

명사 인식(Named Entity Recognition, NER)은 자연어 처리 분야에서 중요한 과제로, 엔티티의 경계를 식별하고 미리 정의된 카테고리에 따라 분류하는 것을 목표로 한다. 중국어 NER 과제의 경우, annotation이 완료된 데이터가 매우 제한적이다. 중국어 NER과 중국어 단어 분할(Chinese Word Segmentation, CWS) 과제는 많은 유사한 단어 경계를 공유하고 있지만, 각각 고유한 특징을 지닌다. 그러나 기존의 중국어 NER 기법들은 CWS에서 얻은 단어 경계 정보를 적절히 활용하지 못하거나, CWS의 고유한 특징을 효과적으로 제거하지 못하는 문제가 있다. 본 논문에서는 작업 간 공유되는 경계 정보를 극대화하고 CWS의 작업 고유 특징을 차단하기 위해, 새로운 적대적 전이 학습(adversarial transfer learning) 프레임워크를 제안한다. 또한, 엔티티 타입을 예측할 때 임의의 문자가 중요한 단서를 제공할 수 있음을 고려하여, 자기 주의(self-attention) 메커니즘을 활용하여 두 토큰 간의 장거리 의존성을 명시적으로 포착한다. 두 개의 대표적인 공개 데이터셋에서 수행된 실험 결과, 제안하는 모델이 다른 최첨단 기법들에 비해 유의미하고 일관되게 우수한 성능을 보였다.

자기주의 메커니즘을 활용한 대립적 전이 학습을 통한 중국어 명명된 실체 인식 | 최신 연구 논문 | HyperAI초신경