GRN: 게이트 관계 네트워크를 활용한 명명된 실체 인식을 위한 합성곱 신경망의 성능 향상

명칭된 개체 인식(NER)을 위한 주요 접근 방식은 대부분 복잡한 순환 신경망(RNN), 예를 들어 장단기 기억(LSTM)을 채택하고 있습니다. 그러나 RNN은 계산 효율성 측면에서 순환 특성으로 인해 제약을 받습니다. 반면에, 컨벌루션 신경망(CNN)은 피드포워드 구조를 통해 GPU 병렬 처리를 완전히 활용할 수 있습니다. 그러나 CNN이 시퀀스 내의 장기적 맥락 정보를 포착하는 데 어려움이 있기 때문에, NER을 수행하기 위해 CNN을 사용하는 연구는 많이 이루어지지 않았습니다. 본 논문에서는 이러한 문제점을 해결하기 위해 간단하면서도 효과적인 CNN 기반 네트워크인 게이티드 관계 네트워크(GRN)를 제안합니다. GRN은 일반적인 CNN보다 장기적 맥락을 더 잘 포착할 수 있는 능력을 가지고 있습니다. 구체적으로, GRN에서는 먼저 각 단어의 국부적 맥락 특성을 탐색하기 위해 CNN을 사용합니다. 그런 다음 단어들 사이의 관계를 모델링하여 이를 게이트로 사용하여 국부적 맥락 특성을 전역적 특성으로 융합하여 라벨을 예측합니다. 문장을 순차적으로 처리하는 순환 계층을 사용하지 않으므로, 제안된 GRN은 전체 문장에 걸쳐 병렬로 계산을 수행할 수 있습니다. CoNLL2003 및 Ontonotes 5.0라는 두 가지 벤치마크 NER 데이터셋에서 수행한 실험 결과, 제안된 GRN은 외부 지식 유무와 상관없이 최신 성능을 달성할 수 있음을 보여주었습니다. 또한 훈련과 테스트 시간 비용이 낮다는 장점이 있습니다. 코드는 https://github.com/HuiChen24/NER-GRN에서 공개적으로 이용 가능합니다.