17일 전

중국어 형태소 분석 향상을 위한 워드후드 메모리 네트워크

{Yan Song, Yuanhe Tian, Yonggang Wang, Fei Xia, Tong Zhang}
중국어 형태소 분석 향상을 위한 워드후드 메모리 네트워크
초록

맥락적 특징은 중국어 단어 분할(CWS)에서 항상 중요한 역할을 한다. 단어성 정보는 이러한 맥락적 특징 중 하나로, 전통적인 문자 기반 분할기에서 유용하다는 것이 입증되어 왔다. 그러나 최근의 신경망 모델에서는 이 특징에 대한 관심이 상대적으로 낮으며, 다양한 단어성 측정 방식에서 얻은 단어성 정보를 기존의 신경망 프레임워크에 적절히 통합하는 것은 여전히 도전적인 과제이다. 본 논문에서는 이를 해결하기 위해 메모리 네트워크를 활용하여 여러 인기 있는 인코더-디코더 조합과 함께 단어성 정보를 통합하는 신경망 프레임워크인 WMSeg을 제안한다. 다섯 개의 벤치마크 데이터셋에서 수행된 실험 결과는 메모리 기법이 신경망 분할기의 단어성 정보를 효과적으로 모델링함을 보여주며, WMSeg이 모든 데이터셋에서 최고 성능을 달성함을 입증한다. 추가적인 실험과 분석을 통해 본 연구에서 제안한 프레임워크가 다양한 단어성 측정 방식에 대해 뛰어난 강건성을 보이며, 다영역 실험에서 단어성 정보의 높은 효율성을 확인할 수 있었다.