TENER: 이름 있는 실체 인식을 위한 Transformer 인코더의 적응

양방향 장단기 기억망(BiLSTM)은 명명된 엔티티 인식(NER) 작업을 해결하는 모델에서 인코더로 널리 사용되어 왔다. 최근에는 병렬 처리 가능성과 우수한 성능으로 인해 Transformer가 다양한 자연어 처리(NLP) 작업에 광범위하게 채택되고 있다. 그러나 Transformer의 NER에서의 성능은 다른 NLP 작업에 비해 다소 낮은 편이다. 본 논문에서는 문자 수준 특징과 단어 수준 특징을 모델링하기 위해 적응형 Transformer 인코더를 채택한 NER 아키텍처인 TENER를 제안한다. 방향성과 상대 거리 인지 주의 메커니즘 및 스케일링되지 않은 주의 메커니즘을 도입함으로써, Transformer 기반 인코더가 다른 NLP 작업과 마찬가지로 NER에 있어 효과적임을 입증한다.