XCOPA：用于因果常识推理的多语言数据集

为模拟人类的语言能力，自然语言处理系统必须能够对日常情境的动态变化进行推理，包括其潜在的原因与后果。此外，系统还应具备将所习得的世界知识泛化至新语言的能力，仅需考虑文化差异的影响。机器推理与跨语言迁移技术的进步，依赖于具有挑战性的评估基准的可用性。基于上述双重需求，我们提出了跨语言合理替代选择（Cross-lingual Choice of Plausible Alternatives, XCOPA），这是一个涵盖11种语言的类型学多样性多语言数据集，用于因果常识推理任务，其中包含资源匮乏的语言，如东部阿普里马克克丘亚语（Eastern Apurímac Quechua）和海地克里奥尔语（Haitian Creole）。我们在该新型数据集上评估了一系列最先进的模型，结果表明，基于多语言预训练与零样本微调的方法性能仍显著低于基于翻译的迁移策略。最后，我们提出了一种适用于资源稀缺语言的多语言模型适应策略，当仅提供少量语料或双语词典时，该策略可实现显著优于随机基线的性能提升。XCOPA数据集已开源，可通过 GitHub 仓库 github.com/cambridgeltl/xcopa 免费获取。