
摘要
本文提出了一种用于自动恢复阿拉伯语元音符号(diacritics)的新方法,该方法采用三阶段流水线架构:第一阶段为基于深度学习的模型,采用包含LSTM与全连接层的多层循环神经网络;第二阶段为基于字符级别的规则校正模块,通过确定性操作防止部分错误;第三阶段为基于词级别的统计校正模块,利用上下文信息与距离信息修复部分元音标注问题。该方法的创新之处在于融合了不同类型的技术手段,并引入基于编辑距离的纠错机制。我们使用了一个大规模公开数据集(Tashkeela)进行系统训练与测试,该数据集包含未经处理的阿拉伯语元音标注文本,在清洗与规范化处理后用于实验。在最新发布的基准测试集上,我们的系统在考虑所有阿拉伯字母的情况下,取得了3.39%的错误率(DER)和9.94%的词错误率(WER);当忽略每个词末尾字母的元音标注时,性能进一步提升至2.61%的DER与5.83%的WER,显著优于所有对比系统。