一句话总结

来自赖特州立大学、橡树岭科学与教育研究所、南卡罗来纳大学 AI Institute 和空军研究实验室的研究人员，在认知科学中的经典演绎推理任务上评估 LLMs，发现呈现形式和内容的改变未能提升整体表现，并且 LLMs 展现出仅能部分由人类推理或其训练语料预测出的独特推理偏差。

核心贡献

• 该论文在标准化 Wason 条件推理任务上评估了若干大语言模型，检验肯定前件、否定后件、否定前件和肯定后件，同时控制基于提示的混杂因素。

• 一项控制研究改变呈现形式和规则内容，包括前件与后件之间熟悉和不熟悉的关系，以检验这些变化是否改善演绎推理表现。

• 结果表明，形式和内容以出乎意料的方式改变准确率，却没有提升整体表现，并揭示出偏离人类认知科学模式的 LLM 推理偏差。

引言

高度流畅的大语言模型（LLMs）提升了人们对测试其推理与解决问题能力的兴趣，尤其是通过探究演绎能力的任务。Wason 选择任务适用于此，因为它对应条件推理模式，例如肯定前件和否定后件，并且可以进行标准化，以减少表面语言线索。已有研究结果并不一致：一些 LLMs 在现实问题上表现良好，但在非现实问题上表现较差，且整体表现会随任务格式显著变化。一个关键局限是，早期研究可能将推理能力与提示结构、问题内容是否令人类感到熟悉等因素混为一谈，尤其是人类觉得特别直观的社会规则内容。该研究通过具体考察社会规则内容如何影响 LLM 推理、测试替代呈现形式，并评估多个候选模型来检查算法效应，以解决这一问题。研究发现社会内容确实有帮助，但低于以人为中心的预期，并且形式效应以令人惊讶的、非人类的方式与内容发生交互作用。

实验

实验使用匹配的现实、打乱和任意问题内容、多种呈现形式，以及领域条件 PMI 指标，评估 LLMs 在 Wason 风格规则推理上的表现。结果显示，模型在一定程度上类似人类模式，在现实规则和社会规则上的表现优于任意规则或打乱规则，但整体表现仍然较低，且与人类受试者观察到的幅度不相符。额外分析显示，呈现形式和前件选择与问题内容的交互方式并非人类推理所预测，并且不同模型呈现出类似的偏离模式。

该背景将 Wason 选择任务描述为演绎推理测试，用于区分逻辑有效推理与常见谬误。其中指出，只有肯定前件和否定后件有效，而否定前件和肯定后件无效。所引用的讨论还报告称，LLMs 在不同模型之间呈现出偏低且一致的准确率，其推理模式偏离人类行为。在该任务中，只有肯定前件和否定后件是有效推理形式。LLMs 选择前件卡片的频率低于人类，在社会规则问题之外尤其如此。

统计分析使用推理表现指标评估社会规则状态和规则内容。它发现，相对于打乱规则，现实规则存在有益关联，并且社会状态与内容之间存在显著交互作用。整体模式在不同语言模型和问题熟悉度之间保持一致，尽管绝对表现仍然较低。相对于打乱规则，现实规则显示出有益效应。社会规则状态与内容类型发生交互作用，并且该模式在不同语言模型之间相似。

分析发现，呈现形式显著影响表现，但社会规则状态和内容类型单独来看没有显著主效应。表现差异源于呈现形式与社会规则状态和内容类型之间的交互作用，这表明某种形式的益处取决于所涉及的规则和内容类型。表现在不同语言模型和熟悉度水平之间大体一致，表明这些差异并非主要由模型身份或先前接触驱动。呈现形式比较在统计上可靠，每种相邻形式对比都报告了更高的模型预估几率。在正面与背面以及背面与正背两面的比较中，社会规则状态与呈现形式发生交互作用。在经典与正面以及正面与背面的比较中，打乱内容与现实内容会与呈现形式发生交互作用。加入模型身份或问题熟悉度没有改善模型拟合，表明这些因素上的变化有限。

前件选择随呈现形式和问题内容变化。经典、正面和背面形式之间，以及任意、非任意、打乱和现实问题之间出现显著差异，同时最优拟合模型还包含形式与内容的交互作用。单独的社会规则状态不显著，且观察到的模式在各模型之间大体一致。呈现形式显著影响经典、正面和背面条件下的前件选择。内容类型在任意与非任意问题之间以及打乱与现实问题之间显著不同。呈现形式与内容类型发生交互作用，因此形式效应取决于问题类型。单独的社会规则状态没有显示出显著主效应。

实验使用 Wason 选择任务，考察 LLMs 在推理类型、规则真实性、社会规则状态和呈现形式上的演绎推理。结果显示，准确率普遍偏低但跨模型一致，并且现实内容与比打乱或任意内容更好的推理相关。呈现形式的影响主要通过其与规则内容的交互作用体现，尤其体现在前件选择上，而社会规则状态的独立作用有限。这些模式在各模型和熟悉度之间保持稳定，表明它们并非主要由模型身份或先前接触驱动。