Vihari Piratla Purvam Jain Darshan Singh Partha Talukdar Trevor Cohn

摘要

网络或任何大规模语料库中的知识通常以一种或少数几种自然语言表达。大型语言模型（LLMs）通过从源语言中获取知识，并在目标语言查询时提供可访问性，充当了语言之间的桥梁。先前的研究指出存在跨语言差距（cross-lingual gap），即当知识以目标语言进行查询时，准确率相较于源语言查询会下降。现有研究将这一差距归因于源语言与目标语言在潜在表示上的差异。在本研究中，我们提出一种不同的视角，假设目标语言响应的方差是造成该差距的主要原因。我们首次从偏差-方差分解（bias-variance decomposition）的角度对跨语言差距进行了形式化定义。我们提供了大量实验证据，支持所提出的理论框架与假设。随后，我们通过多种推理阶段干预手段，控制响应方差，进一步验证了该假设的有效性。我们展示了一种简单的提示指令（prompt instruction），可有效降低响应方差，在不同模型上均使目标语言准确率提升了20%至25%。