2 个月前

长短时记忆网络用于日语分词

Yoshiaki Kitagawa; Mamoru Komachi
长短时记忆网络用于日语分词
摘要

本研究提出了一种基于长短期记忆(LSTM)神经网络的方法用于日语分词(JWS)。此前关于中文分词(CWS)的研究成功地使用了循环神经网络,如LSTM和门控循环单元(GRU)。然而,与中文不同的是,日语包含多种字符类型,如平假名、片假名和汉字,这些字符类型导致了书写形式的变化,增加了分词的难度。此外,在日语分词任务中考虑全局上下文非常重要,而传统的日语分词方法主要依赖于局部特征。为了解决这一问题,本研究建议采用基于LSTM的方法进行日语分词。实验结果表明,所提出的模型在多个日语文本语料库上达到了最先进的准确率。

长短时记忆网络用于日语分词 | 最新论文 | HyperAI超神经