MINER: 정보 이론적 관점에서의 OOV 명명된 실체 인식 개선

표준 NER 벤치마크에서 NER 모델은 유망한 성능을 달성하였다. 그러나 최근 연구들은 기존의 접근 방식이 엔티티 언급 정보에 과도하게 의존할 수 있음을 보여주며, 이로 인해 사전에 없는 단어(OOV) 엔티티 인식에서 성능이 저하된다는 문제를 지적하고 있다. 본 연구에서는 정보이론적 관점에서 이러한 문제를 해결하기 위해 MINER라는 새로운 NER 학습 프레임워크를 제안한다. 제안된 방법은 두 가지 상호 정보 기반의 학습 목표를 포함한다. 첫째, 일반화된 정보 최대화(GIM: Generalizing Information Maximization)는 맥락과 엔티티의 표면 형태에 대한 깊이 있는 이해를 통해 표현을 강화한다. 둘째, 불필요한 정보 최소화(SIM: Superfluous Information Minimization)는 엔티티 이름을 단순 암기하거나 데이터 내 편향된 신호를 활용하는 것을 억제함으로써 표현의 일반화 능력을 향상시킨다. 다양한 설정과 데이터셋에서 수행한 실험 결과, 본 방법은 OOV 엔티티 예측에서 기존 방법보다 우수한 성능을 보였다.