11일 전

SLK-NER: 중국어 NER을 위한 이차 렉시콘 지식 활용

Dou Hu, Lingwei Wei
SLK-NER: 중국어 NER을 위한 이차 렉시콘 지식 활용
초록

한자 기반의 어휘 사전을 활용한 모델은 중국어 명명된 실체 인식(NER) 작업에서 유망한 성과를 달성해 왔다. 그러나 잘못 매칭된 단어로 인해 일부 어휘 단어는 오류 정보를 유입시킬 수 있다. 기존 연구들은 다양한 어휘 지식 통합 전략을 제안해 왔다. 그러나 이러한 방법들은 단순한 일차 어휘 지식(1st-order lexicon knowledge)을 활용하여 충분한 단어 정보를 제공하지 못했으며, 여전히 매칭된 단어의 경계 충돌 문제에 직면해 있었다. 또는 그래프 기반의 고차원 어휘 지식을 탐구한 연구들은 부정적인 단어 정보가 포함되어 식별 성능을 저해하는 문제를 겪었다. 위의 한계를 완화하기 위해, 본 연구는 문장 내 각 문자에 대한 이차 어휘 지식(second-order lexicon knowledge, SLK)에 새로운 통찰을 제시한다. 이는 의미 정보와 단어 경계 특성 등 더 풍부한 어휘 정보를 제공함으로써, 보다 정교한 어휘 정보를 활용할 수 있도록 한다. 이러한 기반 위에서, 제안된 SLK 기반 모델은 새로운 전략을 통해 위의 어휘 지식을 효과적으로 통합한다. 제안된 모델은 전반적인 문맥 정보를 활용하여 더 구분력 있는 어휘 정보를 추출할 수 있다. 공개된 세 가지 데이터셋에서 수행된 실험 결과는 SLK의 타당성을 입증하며, 최신 기술 대비 더 뛰어난 성능을 달성함을 보여준다.

SLK-NER: 중국어 NER을 위한 이차 렉시콘 지식 활용 | 최신 연구 논문 | HyperAI초신경