地理空间机制可解释性的大语言模型

大型语言模型（LLMs）在各种自然语言处理任务中展示了前所未有的能力。它们处理和生成有效文本和代码的能力使其在许多领域得到了广泛应用，而将其作为知识库和“推理”工具的应用仍然是一个持续研究的领域。在地理学领域，越来越多的文献开始关注评估LLMs的地理知识及其进行空间推理的能力。然而，关于这些模型内部运作机制的研究仍然很少，尤其是它们如何处理地理信息的具体过程。本章中，我们建立了一个新的框架来研究地理空间机械解释性——利用空间分析逆向工程解析LLMs如何处理地理信息。我们的目标是深化对这些复杂模型在处理地理信息时生成的内部表示的理解——尽管这样的表述可能被视为不当的人格化描述，但可以形象地称为“LLMs如何思考地理信息”。首先，我们概述了探针技术在揭示LLMs内部结构中的应用。随后，我们介绍了机械解释性的领域，讨论了叠加假设以及稀疏自编码器在将LLMs的多义内部表示解耦为更可解释的单义特征方面的作用。在实验中，我们使用空间自相关方法展示了地名特征的空间模式与其地理位置的相关性，从而可以从地理空间的角度对其进行解读，提供对这些模型如何处理地理信息的深入见解。最后，我们讨论了该框架如何有助于塑造基础模型在地理学领域的研究和应用。