通过内部表征分析LLMs在不同语言中的知识边界认知

尽管理解大型语言模型（LLMs）的知识边界对于防止其产生幻觉至关重要，但目前关于LLMs知识边界的研究主要集中在英语上。在本研究中，我们首次探讨了LLMs在处理多种语言的已知和未知问题时，如何识别不同语言的知识边界，并通过探测其内部表示来进行分析。我们的实证研究揭示了三个关键发现：1) LLMs对知识边界的感知在不同语言的中间到中间偏上的层中被编码；2) 知识边界感知的语言差异遵循线性结构，这促使我们提出了一种无需训练的对齐方法，该方法能够有效跨语言转移知识边界感知能力，从而有助于降低资源匮乏语言中的幻觉风险；3) 在双语问题对翻译上进行微调进一步增强了LLMs跨语言识别知识边界的性能。鉴于目前缺乏用于跨语言知识边界分析的标准测试平台，我们构建了一个包含三种代表性知识边界数据类型的多语言评估套件。我们的代码和数据集可在https://github.com/DAMO-NLP-SG/LLM-Multilingual-Knowledge-Boundaries公开获取。 注释： - LLMs: 大型语言模型 (Large Language Models) - hallucination: 幻觉 (Hallucination) - fine-tuning: 微调 (Fine-tuning) - bilingual question pair translation: 双语问题对翻译 (Bilingual question pair translation)