17일 전

이름 있는 실체 인식을 위한 히어로-강 신경 모델

Jinpeng Hu, Yaling Shen, Yang Liu, Xiang Wan, Tsung-Hui Chang
이름 있는 실체 인식을 위한 히어로-강 신경 모델
초록

명사 인식(Named Entity Recognition, NER)은 자연어 처리(NLP)에서 기초적이고 중요한 과제로, 자유 텍스트에서 명사적 실체(Named Entities, NEs)를 식별하는 것을 목표로 한다. 최근에는 트랜스포머(Transformer) 모델에 적용된 다중 헤드 어텐션 메커니즘이 장거리 문맥 정보를 효과적으로 포착할 수 있다는 점에서, 트랜스포머 기반 모델이 주류 방법으로 부상하며 이 과제에서 뛰어난 성능을 달성하고 있다. 그러나 이러한 모델들은 효과적인 전역 문맥 정보를 포착할 수는 있지만, NER에 있어 매우 중요한 국소적 특징과 위치 정보 추출 측면에서는 여전히 한계가 있다. 본 논문에서는 이러한 한계를 보완하기 위해, 전역 정보와 국소 정보를 함께 활용하여 NER 성능을 향상시키는 새로운 히어로- Gang 신경망 구조(Hero-Gang Neural network, HGN)를 제안한다. 구체적으로, 히어로(Hero) 모듈은 자기 어텐션 메커니즘의 장점을 유지하기 위해 트랜스포머 기반 인코더로 구성되며, 갱(Gang) 모듈은 히어로 모듈의 지시 아래 다중 윈도우 순환 모듈을 활용하여 국소적 특징과 위치 정보를 추출한다. 이후 제안된 다중 윈도우 어텐션은 전역 정보와 다수의 국소적 특징을 효과적으로 통합하여 실체 레이블을 예측한다. 다양한 벤치마크 데이터셋에서 수행된 실험 결과를 통해 제안 모델의 효과성을 입증하였다.

이름 있는 실체 인식을 위한 히어로-강 신경 모델 | 최신 연구 논문 | HyperAI초신경