2 个月前

语言输入特征改进神经机器翻译

Rico Sennrich; Barry Haddow
语言输入特征改进神经机器翻译
摘要

神经机器翻译最近取得了令人印象深刻的结果,同时在外部语言信息的使用上相对较少。本文表明,神经机器翻译模型的强大学习能力并不意味着语言特征变得多余;这些特征可以很容易地被纳入以进一步提高性能。我们对注意力编码器-解码器架构中的嵌入层进行了泛化,以支持除基线单词特征外任意特征的包含。我们在英德双向和英罗单向神经机器翻译系统中添加了形态学特征、词性标签和句法依存关系标签作为输入特征。在WMT16训练集和测试集上的实验结果显示,语言输入特征根据三个指标(困惑度、BLEU和CHRF3)提高了模型的质量。我们的神经机器翻译系统的开源实现已提供,同时提供了示例文件和配置。注释:- “perplexity”译为“困惑度”,是衡量语言模型预测能力的一个常用指标。- “BLEU”是一种常用的自动评估机器翻译质量的指标。- “CHRF3”是一种基于字符n-gram的评价指标,用于评估机器翻译输出与参考译文之间的相似度。

语言输入特征改进神经机器翻译 | 最新论文 | HyperAI超神经