HEProto: 다중 작업 학습 기반의 계층적 강화 프로토넷을 활용한 소량 샘플 명명된 실체 인식

소수 샘플 명명된 실체 인식(Named Entity Recognition, NER) 작업은 제한된 학습 샘플을 바탕으로 다양한 도메인의 실체를 식별하고 분류하는 것을 목표로 하며, 지식 그래프(Knowledge Graph, KG) 구축을 위한 기본 단계로 여겨져 왔다. 이 작업에 대해 뛰어난 성능을 보이는 많은 연구들이 진행되었으나, 일반적으로 스팬 탐지(span detection)와 유형 분류(type classification)라는 두 하위 작업을 상호 독립적으로 다루며, 이들 간의 통합성과 상관관계는 크게 간과되어 왔다. 또한 기존 방법들은 실체의 거시적 특징을 효과적으로 포착하지 못해 실체 유형에 대한 의미적 표현이 부족한 경우가 많다. 이를 해결하기 위해 본 논문에서는 다중 작업 학습(multi-task learning) 기반의 계층적 강화 프로토타입 네트워크(Hierarchical Enhancing ProtoNet, HEProto)를 제안한다. HEProto는 두 하위 작업을 공동으로 학습하고, 그 간의 상관관계를 모델링하는 데에 활용된다. 구체적으로, 스팬 경계 정보와 유형 의미 표현을 강화하기 위해 대조 학습(contrastive learning)을 도입한다. 이후, 유형 분류 단계에서 실체의 거시적 정보를 활용할 수 있도록 계층적 프로토타입 네트워크를 설계하여, 모델이 더 정교한 의미 표현을 효과적으로 학습할 수 있도록 한다. 이와 관련하여, 세부적 실체와 관련 없는 다른 거시적 프로토타입 간의 유사도를 감소시키기 위해 유사도 마진 손실(similarity margin loss)을 제안한다. 최종적으로, Few-NERD 데이터셋에서 실시한 광범위한 실험을 통해 제안하는 방법이 경쟁적인 기준 방법들보다 우수한 성능을 보임을 입증하였다. HEProto의 소스 코드는 https://github.com/fanshu6hao/HEProto 에서 공개되어 있다.