一句话总结

马里兰大学学院公园分校的研究人员使用原子假设分解，在 NLI 和可废止 NLI 中形成细粒度子问题，揭示出 LLMs 在原子层面难以保持逻辑一致性，并提出一个推理一致性指标，用于衡量模型在不同上下文中对同一事实是否持续做出正确或错误的预测。

核心贡献

• 原子分解被应用于传统 NLI 和可废止 NLI 中的假设，以形成探测模型一致性的细粒度子问题，澄清非单调推理的结构，并衡量基准数据集中样本的多样性。

• 在传统 NLI 和可废止 NLI 子问题上的实验，包括 δ-SNLI，表明 LLMs 在对单个原子推断进行推理时难以保持逻辑一致性，并且可废止推理中的原子标签与完整问题标签之间的关系比传统 NLI 更复杂。

• 关键原子被定义为对可废止 NLI 标签贡献最大的原子推断，并提出一个基于所讨论问题的框架，通过共享关键原子对样本进行分组，以衡量不同上下文之间的推理一致性。

引言

原子分解将文本分解为原子命题，即由原文显式支持的细粒度事实，这对事实核查、主张验证、多跳问答以及更细粒度的模型推理评估有用。已有工作将分解用于主张检查和 span 级 NLI，但这类工作大多聚焦于前提分解或训练模型使用原子推断，并且尚未考察可废止 NLI 中的原子推理，即在引入新证据时结论可能发生变化的任务。作者利用 NLI 和可废止 NLI 中的假设分解来创建原子子问题，分析大语言模型的逻辑一致性，并提出关键原子和推理一致性指标，以探测模型对关键推断的预测如何在不同上下文中变化。

数据集

• 作者使用 Rudinger 等（2020）提出的可废止 NLI 基准 δ-NLI。该任务要求判断在给定前提和假设的情况下，更新句子是加强还是减弱假设。

• δ-NLI 来自三个常识推理来源：SNLI、ATOMIC 和 SOCIAL-CHEM-101。对于 SNLI 和 ATOMIC，众包工作者为中立的前提假设配对撰写更新句子。对于 SOCIAL-CHEM-101，源数据只提供假设部分。

• 作者主要使用 δ-SNLI，即 δ-NLI 中来自 SNLI 的数据子集。该子集从 SNLI 中选择中立的前提假设配对，并为每个配对添加一个由众包工作者撰写的更新句子。所得样本的结构包括前提、假设和更新。

• 原始众包规则要求工作者生成具有目标加强或减弱标签的更新句子，但不告知应针对假设的哪一部分。工作者也不能撰写直接与前提信息相矛盾的更新句子。

• 训练集、开发集和测试集在前提假设配对层面进行划分，以防止共享同一底层配对的不同样本之间发生泄漏。

• 对于 δ-SNLI-TEST，作者构造了假设的原子分解。每个原子都期望成为有效的原子子问题，应当从原始假设中蕴含，但不应从前提中蕴含。

• 原子分解流程包含两个过滤阶段。首先，一个强 NLI 模型会剪除未被假设蕴含的原子。其次，那些已经由前提蕴含的原子会被移除，因为 δ-SNLI 使用中立的前提假设配对，并且更新应当影响假设中的部分。

• 随后，人工标注者验证剩余原子。有效原子必须语法正确、由假设蕴含，并且不由前提蕴含。引入新信息或依赖语用推断的原子被视为无效。

• 在验证样本中，95.7% 经剪枝流程保留的原子被判定为有效。外部标注者标注了 100 个原子样本，得到 Cohen's Kappa 为 0.82。

• 作者进一步将原子子问题标注为前提原子更新三元组。每个原子按五点量表评分，范围从强烈减弱到强烈加强，中间点表示无影响。第二个外部标注者标注了 100 个样本原子，得到 Kendall's Tau 为 0.79。

• 原子标签分布显示，许多 δ-SNLI 样本包含具有混合极性或不产生影响的原子，这凸显了可废止推理的非单调性质。

• 该研究使用完整的 δ-SNLI 样本，在原始二元加强或减弱任务上对模型进行基准评测。该研究还使用经过验证的 δ-SNLI-TEST 原子，来评估模型是否理解每个完整样本背后的原子推理步骤。

• 由于原始 δ-SNLI 训练标签是二元的，而原子评估包含无影响效应，因此原子准确率在非中性原子上报告，这些原子约占原子总数的 80%。

• 对于 SNLI-TEST-SAMPLE 分析，该研究未对原子蕴含进行外部验证。相反，仅在该模型自身视为有效的原子子问题上衡量一致性。

• 未使用裁剪策略。数据集构建依赖于选择中立的 SNLI 配对，收集或推导众包撰写的更新句子，基于 NLI 对原子进行过滤，以及添加人工有效性和效应标注。

方法

作者采用一种方法，将自然语言推理问题分解为基本原子命题，验证这些原子，然后以这些原子作为细粒度评估模型一致性的基础。核心思想是，模型的整体判断应当与其对组成假设的各个信息片段的判断保持一致。可以在普通蕴含任务中检查这种一致性，更重要的是，也可以在更新会加强或减弱假设的可废止推理设置中检查这种一致性。

给定前提 $P$P 和假设 $H$H，该方法首先生成 $H$H 的原子分解，得到原子 $a_1, \ldots, a_n$a1​,…,an​。每个原子表示假设中的一个单独信息片段。在普通 NLI 中，每个原子定义一个形式为 $(P, a_i)$(P,ai​) 的子问题，模型需要判断 $P$P 对该原子是蕴含、矛盾，还是中立。在可废止 NLI 中，输入还包含更新 $U$U，对应的原子子问题是 $(P, a_i, U)$(P,ai​,U)。对于每个原子，任务是判断 $U$U 会加强、减弱，还是不影响 $a_i$ai​。

原子分解模块建立在 Neo-Davidsonian 事件语义表示之上。句子被视为关于实体和事件变量的谓词合取。例如，关于某人执行动作的句子可以用如下逻辑形式表示：

$$\exists x_1 \exists e \bigl(\text{Juggler}(x_1) \land \text{Perform}(e) \land \text{Agent}(e, x_1) \land \exists x_2 (\text{Party}(x_2) \land \text{At}(e, x_2))\bigr).$$∃x1​∃e(Juggler(x1​)∧Perform(e)∧Agent(e,x1​)∧∃x2​(Party(x2​)∧At(e,x2​))).

每个合取项都被映射为一个自然语言表达，称为原子。这确保动作及其语义论元作为单独的证据片段出现。作者使用精心手工构建的示例来提示大语言模型，具体为 llama-3-8b-instruct，使其为假设生成原子。

由于原子分解可能引入无效或过度推断的事实，该方法包含一个验证流程。对于可废止推理样本，非单调推理使验证尤其重要，因为更新可以改变命题的推断状态，而且这种改变并不遵循严格单调蕴含。验证流程包含两个阶段。首先，一个基于 DEBERTA-large 的强微调 NLI 模型会剪除未被原始假设蕴含的原子。由于基础前提假设配对通常是中立的，第二个剪枝步骤会移除已经由前提蕴含的原子。其次，人工标注者验证剩余原子。有效原子必须语法正确、由假设蕴含，并且不由前提蕴含。引入新语用推断的原子会被拒绝。

对于传统 NLI，原子被用于定义整体前提假设标签与个体前提原子标签之间的必要逻辑一致性约束。如果 $H$H 由 $P$P 蕴含，那么每个有效原子都必须由 $P$P 蕴含：

$$P \models H \implies \forall i,\; P \models a_i.$$P⊨H⟹∀i,P⊨ai​.

如果 $H$H 与 $P$P 矛盾，那么至少一个有效原子必须与 $P$P 矛盾：

$$P \perp H \implies \exists i,\; P \perp a_i.$$P⊥H⟹∃i,P⊥ai​.

如果 $H$H 相对于 $P$P 是中立，那么至少一个有效原子必须是中立，并且其他有效原子可以是中立或被蕴含，但不得是矛盾。这些规则为检查模型的全局推断是否得到其局部推断支持提供了诊断框架。

在可废止推理中，原子与整体判断之间的关系更弱一些。更新 $U$U 并不是简单地添加逻辑前提。相反，它通过以不同程度影响不同原子来改变假设的合理性。人类阅读更新时可能判断它加强了整体假设，因为该更新强烈支持某些原子，减弱或不改变其他原子，并可能将多个弱信号组合成更强的整体效应。

因此，该方法提出了关键原子的概念。关键原子是更新最强影响并且与可废止判断总体极性一致的原子。如果更新加强假设，关键原子就是被最强加强的原子。如果更新减弱假设，关键原子就是被最强减弱的原子。当多个原子以相近强度受到影响时，某些样本具有多个关键原子。这种框架把原子推断与所讨论问题联系起来：每个假设可以回答许多可能问题，但特定更新往往更偏向与关键原子相关的问题。

为了根据样本评估的知识对样本分组，该方法识别语义等价的关键原子。每个关键原子使用 NV-Embed-7B 嵌入。计算成对余弦相似度，并构建一个图，其中节点是关键原子。如果两个原子的嵌入相似度超过阈值，阈值设为 $\theta = 0.75$θ=0.75，并且 NLI 验证模型发现两个原子相互蕴含，则在两个原子之间添加边。将该图中的最大团视为等价关键原子的聚类。然后按这些聚类对样本分桶，使得共享同一关键原子的所有样本可以作为同一底层推断的不同上下文进行比较。

如下图所示：

图示展示了两个共享同一关键原子的可废止 NLI 样本，该关键原子是这些人是朋友。这两个样本在前提和更新上不同，为评估同一事实推断提供了不同上下文。在一个上下文中，更新支持该原子；在另一个上下文中，更新反对该原子。该方法使用这种分组来测试模型是否理解关键事实本身，还是只在特定前提更新上下文中成功。

推理一致性指标将这一想法形式化。设 $e_i$ei​ 和 $e_j$ej​ 是属于同一关键原子桶 $B$B 的两个可废止 NLI 样本。设 $R_e$Re​ 是一个二元变量，用于表示模型对样本 $e$e 的预测是否正确，并设 $\theta_B$θB​ 表示桶 $B$B 中样本的平均正确率。推理一致性 $I_C$IC​ 被定义为两个共享同一关键原子的样本要么均被正确预测、要么均被错误预测的概率：

$$I_C = P(M(e_i) = y, M(e_j) = y) + P(M(e_i) \neq y, M(e_j) \neq y).$$IC​=P(M(ei​)=y,M(ej​)=y)+P(M(ei​)=y,M(ej​)=y).

使用桶准确率时，这可以估计为：

$$I_C = \mathbb{E}[\theta_B^2] + \mathbb{E}[(1 - \theta_B)^2].$$IC​=E[θB2​]+E[(1−θB​)2].

当一个可废止 NLI 样本包含多个关键原子时，该样本的权重会均分到与其关键原子对应的所有桶中。这种加权方式可以防止包含多个关键原子的样本在衡量模型如何在不同上下文中一致应用同一底层事实时被过度计入。

实验

在具有原子级标注的自然语言推理设置中，实验评估了多个大语言模型和基线模型，并在完整样本、原子子问题、关键原子和跨上下文一致性方面进行分析，以考察超越原始准确率的可靠性。研究发现，准确率可能与逻辑一致性发生偏离，即使强模型仍会产生不一致的原子和完整问题预测，并表现出依赖于类别的一致性差距。模型在全部原子推断上的表现通常差于在完整样本上的表现，但在关键原子上的表现更好，这表明它们更擅长直接且显著的推断，而在较弱或间接推理上存在困难。推理一致性也受到限制，特别是在不同前提和更新要求隐含、多跳或背景知识时，这说明正确的完整预测并不必然反映稳健理解。

表格展示了来自 δ-SNLI 和 SNLI 的样本，其中假设被分解为原子命题，并给出包含这些原子的子问题标签。这些示例表明，假设句子可以被拆成更小的信息片段，然后针对前提进行评估，并且在可废止情况下针对更新进行评估。它们也说明了有效性如何取决于原子是否语法正确、是否由假设蕴含，以及是否未被前提蕴含。原子分解将假设拆成单独信息片段，以实现更聚焦的推理评估。在可废止推理示例中，更新可以加强、减弱或保持由特定原子支持的信念不变。

被评估的 LLMs 在完整样本上取得了较强准确率，并在最终预测与原子级子问题标签之间表现出总体较高的逻辑一致性。当完整预测正确时一致性最高，在错误样本上显著下降，并且在预测为蕴含、中立和矛盾标签时表现出依赖于模型的变化。尽管原子分解更易于解释，但所有比较模型的原子标签准确率仍低于完整样本准确率。在比较中，较小的 GPT-4o 模型在完整样本准确率上最强。GPT-4o 总体逻辑一致性最高，同时完整准确率略低于 GPT-4o-mini。错误完整样本上的逻辑一致性明显低于正确样本。中立标签预测通常比蕴含标签预测更具逻辑一致性。原子标签准确率没有超过直接完整样本准确率。

结果比较了模型在完整可废止推理样本、全部原子子问题、以及最直接影响每个样本的关键原子子问题上的准确率。模型通常在完整样本和关键原子上的准确率高于全部原子子问题，这表明较弱或间接效应更难评估。完整样本上的准确率与模型是否正确预测关键原子密切相关。若干近期模型在完整样本上超过人类基准。模型在关键原子上的表现优于全部原子子问题。当关键原子被正确预测时，对应完整样本的准确率仍然较高。当关键原子被错误预测时，完整样本的准确率显著下降。

该材料解释，更新可以通过针对不同原子细节作用于同一假设，而最强受影响的原子标识了所讨论问题。模型分析显示，推理一致性仍有提升空间，尤其是在上下文要求隐含推理、多跳推理或背景知识时。这种关键原子框架有助于揭示上下文如何在样本共享同一底层原子事实时改变模型行为。更新可能针对假设的不同原子，同时保持其他派生原子不变。推理一致性随上下文变化，并且当更新要求更难推理或外部知识时可能下降。关键原子为判断模型是否在不同样本间内化原子事实提供了有用视角。

报告中的模型在共享关键原子的可废止 NLI 样本上显示出有限的推理一致性，说明其预测经常随上下文变化。性能从 llama-3-8b-it 的约 74.5 到 deberta-v3-large 的 87.0 不等，仍有很大提升空间。deberta-v3-large 在所评估模型中推理一致性最高，而 llama-3-8b-it 最低。在共享同一关键原子的样本间一致失败或一致成功的情况不够常见，足以表明模型并不总是稳健地内化底层事实。当不同上下文需要不同数量的隐含推理、多跳推理或背景知识时，会出现不一致行为。

实验在完整可废止推理样本和原子级子问题上评估大语言模型，尤其是决定每个样本的关键原子。结果显示，完整样本准确率很强，并且与关键原子的正确预测密切相关，而原子分解提升了可解释性，但并没有产生比直接完整样本判断更准确的标签。当完整预测正确时逻辑一致性高，但错误时较弱，并且模型在共享同一关键原子的不同上下文之间表现各异，说明隐含推理、多跳推理和背景知识仍然困难。