基于短语和神经网络的无监督机器翻译

机器翻译系统在某些语言上已经达到了接近人类水平的性能，但其有效性在很大程度上依赖于大量平行句对的存在，这限制了它们在大多数语言对中的应用。本研究探讨了仅利用每种语言的大规模单语语料库进行翻译学习的方法。我们提出了两种模型变体，一种是神经网络模型，另一种是基于短语的模型。这两种版本都利用了参数的精心初始化、语言模型的去噪效果以及通过迭代回译自动生成平行数据的技术。这些模型不仅显著优于文献中的方法，而且更为简单，超参数也更少。在广泛使用的WMT'14英法和WMT'16德英基准测试中，我们的模型分别在未使用任何平行句对的情况下获得了28.1和25.2的BLEU分数，比现有最佳方法高出超过11个BLEU点。对于资源较少的语言如英乌尔都语和英罗曼尼亚语，我们的方法甚至优于利用少量可用双语文本的半监督和监督方法。我们的NMT（神经机器翻译）和PBSMT（基于短语的统计机器翻译）代码已公开发布。