一句话总结

这篇针对大语言模型因果推理基准的批判性综述指出，许多现有评估可通过领域知识检索而非真正的推理来解决；同时，它确立了一套以干预性和反事实任务为优先的评估标准，旨在指导通用评估框架及未来基准的设计。

核心贡献

• 本综述系统分析了大语言模型的因果推理基准，指出当前评估常将相关性等同于因果性，且过度依赖预训练数据检索而非算法推理。
• 该研究建立了一个包含四项标准的设计框架，要求使用因果语言、开放式生成、多因素可扩展性以及不可检索的虚构语境，以独立评估干预性与反事实推理能力。
• 该分析对比了现有单步与多项选择题任务的局限性，并结合可扩展的因果链示例，为构建能够准确衡量因果理解能力的数据集提供了具体方法。

引言

随着大语言模型能力的不断提升，准确评估其因果推理技能对于在复杂决策系统中安全部署至关重要。作者借助既定的因果层级体系，对现有评估基准进行审查，揭示了先前研究中的一个根本性缺陷。当前大多数任务仅测量基础的统计关联，且可通过简单的模式匹配或预训练数据检索来绕过，而非依赖真正的推理过程。为解决这些问题，作者为未来基准提出了四项关键设计标准。他们认为，有效的评估必须使用明确的因果语言来测试干预或反事实情境，要求开放式回答，能够在多个交互变量中扩展，并采用能够排除记忆检索的虚构语境。这种结构化方法旨在构建一个可靠的框架，以区分语言模型中的真实因果理解与表层知识回忆。

数据集

• 数据集构成与来源： 作者从同行评审文献、学术仓库及公共 GitHub 归档中整理了一份包含 39 个现有数据集和基准的精选合集。该合集专门聚焦于旨在评估大语言模型因果推理能力的任务。

• 各子集关键细节： 这些基准被划分为四个功能类别。因果关系识别任务采用人工标注的事实或虚构语境，并搭配多项选择题格式。常识知识任务测试现实世界推理与特定领域检索，通常不提供上下文数据。基于故事的情境推理任务利用长篇虚构叙事以防止记忆，并要求多步综合推理。基于图结构与干预性任务则通过条件独立性陈述或结构化提示，评估因果发现、反事实推理及有向无环图重建能力。

• 论文对数据的使用方式： 该合集仅用于基准测试与批判性分析，而非模型训练或微调。作者利用这些数据集对比大语言模型在不同因果推理层级上的表现，指出当前基准如何无意中奖励虚假的语言线索或死记硬背的知识检索，而非真正的抽象与想象能力。

• 处理与元数据细节： 未应用自定义裁剪、元数据生成或数据混合比例。作者保留源材料中的原始任务结构与评估协议，以确保与既有研究保持一致。文中记录了原始处理流程中的具体局限性，例如时间与空间排序同因果关系的纠缠、图任务中的成对边评估，以及对限制开放式推理的受限多项选择题格式的依赖。