2 个月前

仅使用单语语料库的无监督机器翻译

Guillaume Lample; Alexis Conneau; Ludovic Denoyer; Marc'Aurelio Ranzato
仅使用单语语料库的无监督机器翻译
摘要

近期,由于深度学习技术的进步以及大规模平行语料库的可用性,机器翻译取得了令人瞩目的性能提升。尽管已有许多尝试将这些成功扩展到资源匮乏的语言对上,但通常仍需要数万条平行句子。在本研究中,我们将这一研究方向推向极致,探讨是否可以在没有任何平行数据的情况下学习翻译。我们提出了一种模型,该模型从两种不同语言的单语文本语料库中提取句子,并将其映射到同一潜在空间。通过从这个共享特征空间中进行双语重建,模型能够在不使用任何标注数据的情况下有效学习翻译。我们在两个广泛使用的数据集和两组语言对上验证了我们的模型,在Multi30k和WMT英法数据集上分别报告了32.8和15.1的BLEU分数,而训练过程中未使用任何平行句子。