XNLI：评估跨语言句子表示

最先进的自然语言处理系统依赖于注释数据形式的监督来学习有效的模型。这些模型通常是在单一语言（通常是英语）的数据上进行训练的，因此无法直接应用于其他语言。由于在每种语言中收集数据并不现实，近年来对跨语言理解（XLU）和低资源跨语言迁移的兴趣日益增长。在这项工作中，我们通过扩展多类型自然语言推理语料库（MultiNLI）的开发集和测试集至15种语言，包括斯瓦希里语和乌尔都语等低资源语言，构建了一个用于XLU的评估集。我们希望我们的数据集，命名为XNLI，能够通过提供一个有信息量的标准评估任务来促进跨语言句子理解的研究。此外，我们还提供了几种多语言句子理解的基线方法，其中包括两种基于机器翻译系统的基线方法，以及两种利用平行数据训练对齐的多语言词袋模型和LSTM编码器的方法。我们发现XNLI代表了一个实用且具有挑战性的评估套件，并且直接翻译测试数据在现有的基线方法中表现最佳。