소수 샘플 NER를 위한 태스크별 사전 훈련을 갖춘 다중 태스크 의미 분해 프레임워크

소수 샘플 명명된 실체 인식(few-shot named entity recognition, NER)의 목적은 제한된 레이블링된 예시를 바탕으로 명명된 실체를 식별하는 것이다. 기존 연구들은 주로 전통적인 토큰 단위 분류 프레임워크의 최적화에 집중해 왔으나, NER 데이터의 특성에 기반한 정보 탐색은 소홀히 해왔다. 이러한 문제를 해결하기 위해, 공동 과제별 사전 훈련을 통한 다중 과제 의미 분해 프레임워크(Multi-Task Semantic Decomposition Framework via Joint Task-specific Pre-training, MSDP)를 제안한다. 예시 기반 학습과 대조 학습의 영감을 받아, 두 가지 새로운 사전 훈련 과제인 예시 기반 마스킹 언어 모델링(Masked Language Modeling, MLM)과 클래스 대조 식별(Class Contrastive Discrimination)을 도입한다. 이들 과제는 사전 훈련된 언어 모델(Pre-trained Language Models, PLMs) 내에서 실체 경계 정보를 효과적으로 통합하고 실체 표현을 강화한다. 하류의 주요 과제에서는 의미 분해 방법을 활용한 다중 과제 공동 최적화 프레임워크를 도입하여, 모델이 실체 분류를 위해 두 가지 다른 의미 정보를 통합할 수 있도록 한다. 두 가지 소수 샘플 NER 벤치마크에서의 실험 결과는 MSDP가 강력한 기준 모델들에 비해 일관되게 큰 성능 차이를 보임을 보여준다. 또한 광범위한 분석을 통해 MSDP의 효과성과 일반화 능력이 입증된다.