11일 전

FLAT: 평탄 레이티스 트랜스포머를 이용한 중국어 NER

Xiaonan Li, Hang Yan, Xipeng Qiu, Xuanjing Huang
FLAT: 평탄 레이티스 트랜스포머를 이용한 중국어 NER
초록

최근 들어, 단어 정보를 통합함으로써 중국어 명명된 엔터티 인식(NER)에 효과적임이 입증된 문자-단어 레이티스 구조가 주목받고 있다. 그러나 레이티스 구조는 복잡하고 동적인 특성을 지니고 있어, 기존의 대부분의 레이티스 기반 모델은 GPU의 병렬 계산 능력을 충분히 활용하기 어렵고 일반적으로 추론 속도가 낮은 문제가 있다. 본 논문에서는 중국어 NER를 위한 플랫-레이티스 트랜스포머(FLAT: Flat-LAttice Transformer)를 제안한다. FLAT은 레이티스 구조를 스팬(span)으로 구성된 평탄한 구조로 변환한다. 각 스팬은 원래 레이티스 내에서의 위치를 갖는 문자 또는 잠재적 단어를 나타낸다. 트랜스포머의 강력한 표현력과 철저하게 설계된 위치 인코딩을 통해 FLAT는 레이티스 정보를 효과적으로 활용할 수 있으며, 뛰어난 병렬 처리 능력을 갖추고 있다. 네 개의 데이터셋에서 수행된 실험 결과, FLAT는 성능과 효율성 면에서 다른 사전 기반 모델들을 모두 상회함을 확인하였다.

FLAT: 평탄 레이티스 트랜스포머를 이용한 중국어 NER | 최신 연구 논문 | HyperAI초신경