초록
명명된 실체 인식(Named Entity Recognition, NER) 모델은 일반적으로 양방향 LSTM(BiLSTM) 아키텍처를 기반으로 한다. 그러나 순차적인 구조적 제약과 단일 입력에 대한 모델링만을 고려함으로써, 문장 전체뿐 아니라 문서 전체(또는 데이터셋 전체)의 전역 정보를 충분히 활용할 수 없게 된다. 본 논문에서는 이러한 두 가지 한계를 해결하고, 계층적인 컨텍스트 기반 표현을 도입한 모델을 제안한다. 즉, 문장 수준 및 문서 수준의 표현을 함께 고려한다. 문장 수준에서는 단일 문장 내 각 단어의 기여도를 다르게 고려하여, 독립적인 BiLSTM으로 학습된 문장 표현을 레이블 임베딩 주의 메커니즘(attention mechanism)을 통해 강화한다. 문서 수준에서는 각 고유 단어에 대해 문서 인식 정보를 기록하기 위해 키-밸류 메모리 네트워크를 도입하며, 이는 문맥 정보의 유사성에 민감하게 반응한다. 제안하는 이중 계층적 컨텍스트 기반 표현은 각 입력 토큰 임베딩과 BiLSTM의 해당 은닉 상태와 각각 병합된다. CoNLL-2003 및 Ontonotes 5.0 영어 데이터셋, CoNLL-2002 스페인어 데이터셋을 대상으로 한 실험 결과를 통해, 본 모델이 세 가지 벤치마크 NER 데이터셋에서 새로운 최고 성능(SOTA)을 달성함을 입증하였다.