NFLAT: 비평면 격자 변환기 모델을 이용한 중국어 명명된 개체 인식

최근, 플랫-라티스 트랜스포머(FLAT)가 중국어 명명된 개체 인식(NER)에서 큰 성공을 거두었습니다. FLAT는 평면 라티스를 구축하여 모호한 단어 경계와 단어 의미의 부족으로 인한 어려움을 완화합니다. FLAT에서는 시작 문자와 종료 문자의 위치를 사용하여 일치하는 단어를 연결합니다. 그러나 이 방법은 긴 텍스트를 처리할 때 더 많은 단어를 매칭할 가능성이 있어 입력 시퀀스가 길어집니다. 따라서, 이는 자기 주의(self-attention) 모듈의 메모리 및 계산 비용을 크게 증가시킵니다. 이러한 문제를 해결하기 위해, 우리는 비평면 라티스를 구축하여 계산 및 메모리 비용을 효과적으로 줄이는 새로운 형태소 강화 방법인 인터포머(InterFormer)를 제안합니다. 또한, 인터포머를 기반으로 중국어 NER에 대한 NFLAT를 구현하였습니다. NFLAT는 사전(flexicon) 융합과 문맥 특징 인코딩을 분리합니다. FLAT와 비교했을 때, "단어-문자"와 "단어-단어" 간 불필요한 주의(attention) 계산을 줄여 메모리 사용량을 약 50% 감소시키고 네트워크 학습에 더 광범위한 사전이나 더 큰 배치 크기를 사용할 수 있습니다. 여러 유명 벤치마크에서 얻은 실험 결과는 제안된 방법이 최신 하이브리드(문자-단어) 모델보다 우수함을 입증하였습니다.