将词注意力机制融入基于字符的分词方法

神经网络模型因其能够显著减少特征工程的工作量，在中文等语言的分词任务中得到了广泛应用。典型的分词模型可分为基于字符的模型（用于实现精确推理）和基于词的模型（用于利用词级信息）。本文提出一种基于字符的分词模型，该模型融合了词级信息，旨在结合两类模型的优势。该模型通过注意力机制学习单个字符对应多个候选词的重要性，并据此做出分词决策。实验结果表明，该模型在日文和中文的基准数据集上均取得了优于当前最优模型的性能。