이름 엔티티 인식에서 의미 분리를 위한 프리즘 모듈

자연어 처리 분야에서는 오랫동안 단어 내부에 여러 의미가 혼합되어 있음에도 불구하고, 맥락을 활용해도 여전히 의미 분리가 어려운 문제가 존재해 왔다. 이 문제를 해결하기 위해, 우리는 모델의 입력 레이어에서 노이즈를 줄이고 단어의 의미 측면을 분리하는 데 목적을 둔 프리즘 모듈(prism module)을 제안한다. 프리즘 모듈에서는 특정 단어를 작업에 관련된 의미 측면으로 선택적으로 대체함으로써, 정제된 단어 표현을 생성한다. 이를 통해 후속 작업에 더 쉽게 활용할 수 있는 표현을 제공할 수 있다. 또한, 추가 데이터 없이도 이 모듈을 후속 모델과 함께 공동으로 훈련할 수 있는 구조를 도입하였다. 제안한 모듈은 후속 모델에 쉽게 통합 가능하며, 명명된 실체 인식(Named Entity Recognition, NER) 작업에서 기존 기준 모델의 성능을 크게 향상시킨다. 제거 분석(Ablation analysis)을 통해 제안한 방법의 타당성이 입증되었다. 또한 부가적인 효과로, 제안된 방법은 각 단어의 기여도를 시각화할 수 있는 새로운 방법을 제공한다.