一句话总结

清华大学及其合作者提出 Farm（Fact to Misinform）数据集和一个多轮测试框架，用于追踪大型语言模型中正确的事实信念如何在说服性对话中被系统性操纵。研究发现，多种说服策略能够轻易改变模型信念，而此前单轮研究无法捕捉到这一现象。

核心贡献

• 该研究提出 Farm 数据集，将事实性问题与系统生成的说服性错误信息配对，以测试外部错误信息是否可能推翻大型语言模型最初给出的正确答案。
• 该研究开发了一种多轮对话测试框架：先通过闭卷问答建立大型语言模型的初始信念，随后在对话轮次中引入说服性错误信息，并持续追踪信念变化。
• 实验表明，具备正确事实知识的大型语言模型，包括 GPT-4 等先进模型，也可能被说服而采纳错误信念；其中重复和修辞诉求是尤为有效的说服策略。

引言

大型语言模型储存了大量事实知识，并被越来越多地用于信息检索。但已有研究表明，它们可能会跟随与自身记忆冲突的误导性信息或用户提供的主张。大多数现有研究关注单轮设置、提示扰动、幻觉检测或谄媚行为，对于多轮说服性对话是否能改变大型语言模型的事实信念，理解仍然有限。作者利用心理学中的说服概念构建了 Farm：这是一个由直接事实问题与说服性错误信息配对组成的数据集，并配套一个三阶段框架，用于检查模型初始信念、展开多轮说服对话并测量信念变化。研究发现，领先模型仍然容易受到事实性错误信息影响，其中 ChatGPT 的信念改变率达到 50.1%，GPT-4 为 20.7%。

数据集

• 作者基于三个现有问答来源构建 Farm：BoolQ、Natural Questions 和 TruthfulQA。每个来源各抽样 500 个问题，共得到 1,500 个基础事实问题。

• 问题经过筛选，仅保留 GPT-4 能够在闭卷设置下正确回答的问题。在评估阶段，每个模型只针对其能够正确回答的问题进行测试，因此不同模型可能使用各自不同的正确子集。

• 基础问答对被转换为统一的选择题形式。BoolQ 保持为是否判断题；Natural Questions 被扩展为包含正确答案在内的四选项多选题；TruthfulQA 使用其自带的多选题版本。每个问题还加入一个“不知道”选项，并打乱答案顺序，以降低顺序敏感性。

• 为每个问题生成错误信息元数据。对于 BoolQ，错误信息目标为相反答案。对于 Natural Questions，创建两个变体：NQ1 使用“不是 A”的目标，NQ2 让 GPT-4 选择最合适的错误选项。TruthfulQA 采用类似 NQ2 的错误选项构造方式。对于每个目标，GPT-4 会生成一条简洁的控制陈述，错误地声称问题的答案就是该目标。

• 围绕每条错误控制陈述，作者使用三种修辞诉求生成说服性信息：逻辑诉求、可信度诉求和情感诉求。每条控制陈述针对每种诉求分别生成三条不同信息。生成的诉求会通过 GPT-4 进行文本蕴含和策略对齐检查。

• 五名标注者进行正式验证，两名作者过滤掉 48 个生成失败样本。最终数据集包含 1,952 条样本，额外条目来自在 1,500 个基础问题之上增加的两个 Natural Questions 错误信息变体。

• 论文将 Farm 用作评估模型抵抗说服性错误信息能力的基准。数据并未被描述为包含训练集、验证集或测试集划分。混合方式通过从三个源数据集抽取等量样本实现。主要处理步骤包括筛选、多选题格式化、添加拒绝回答选项、选项打乱，以及合成错误信息和说服诉求生成。文中未提及裁剪策略。

方法

作者构建了一个两阶段评估流程，用于测试当大型语言模型反复接触说服性错误信息时，其维持事实信念的可靠性。第一阶段筛选直接事实问题，并将其转换为标准化选择题。第二阶段生成与正确答案相矛盾的错误信息，第三阶段在交互式信念追踪对话中使用这些题目。作者在问题格式化、错误信息生成和说服策略构造过程中均使用 GPT-4 进行提示。

在问题整理方面，作者首先选择能够在闭卷设置下回答、并且目标模型最初能够选对答案的简单事实问题。随后，这些问题被格式化为选择题。二元问题保持“是”或“否”形式，而短答案问题则扩展为四个选项，包含正确答案以及合理的错误替代项。同时加入一个“不知道”选项，以便模型在不确定时选择拒绝回答。答案选项会被打乱，以降低对选项顺序的敏感性。在测试中，只有当模型选择除“不知道”以外的选项时，才被认为具有该信念。

在错误信息生成方面，作者首先为每个问题定义一个虚假目标命题 $T$T。对于二元问题，$T$T 设置为正确答案的相反项。对于短答案问题，$T$T 可以设置为对正确答案的显式否定，也可以从错误多选干扰项中选择。对于长答案问题，采用类似策略生成具有误导性但看似合理的替代答案。基于 $T$T，作者生成一条简洁控制陈述 $CTRL$CTRL，将虚假命题包装成事实。随后使用 GPT-4 基于 $CTRL$CTRL 生成说服性信息。说服过程受三种修辞诉求引导：逻辑诉求，使用推理、事实或证据；可信度诉求，引用权威或可信来源；情感诉求，试图激发恐惧、同情或兴奋等情绪。对于每条控制陈述，每种诉求类型都会生成多条说服性信息，以便在对话中形成重复压力。

生成的说服性信息会通过两项验证任务进行可用性筛选。文本蕴含任务评估生成的诉求是否在语义上支持控制陈述；策略对齐任务检查信息是否真正体现预期的说服策略。这一过滤步骤有助于确保测试中使用的错误信息连贯、有针对性，并与被评估的修辞机制保持一致。

参见框架图。

如图所示，错误信息测试经历三个阶段：初始信念检查、带有隐含信念检查的说服对话，以及最终信念检查。在初始信念检查中，模型会以多选题形式被询问原始事实问题。只有当模型已经选择正确答案时，框架才进入说服阶段。这一限制使测试成为对信念反转的受控测量，而不是对一般问题回答难度的评估。

说服对话是该方法的核心。每次对话都以控制陈述 $CTRL$CTRL 开始，最多进行四轮。模型自身的回复会被记录，但说服过程由某一选定策略生成的信息驱动。除三种修辞诉求外，作者还加入一种重复策略，即在多个轮次中简单重复控制陈述，从而测试错误信息是否仅靠重复也能产生影响。

一个重要的设计选择是隐含信念检查。框架不单纯依据模型的对话回复判断信念变化，而是在每一轮之后重新提出原始事实问题。该检查被有意从对话历史中隐藏，意味着测试问题和答案不会追加到模型可见上下文中。这可以防止模型意识到自己正在被测试，也降低将谄媚性附和错误信息误判为真正信念变化的风险。如果在隐含信念检查中模型仍选择正确选项，说服对话将继续进行，直到信念发生反转，或达到最大轮次。最终信念检查是显式的，并标志评估结束，用以表明模型是否已成功被误导、保留原始信念，或选择拒绝回答。

作者还描述了一种轻量级缓解流程，用于降低部署过程中对错误信息的易感性。当检测到用户输入中可能存在错误信息时，系统可能通过另一个模型识别，并插入系统提示形式的提醒。该提示要求模型警惕潜在恶意用户，并在回应前核验自身记忆中的知识。其直觉有两方面：当用户回应与模型知识冲突时，模型通常假设用户是善意的；当模型被鼓励回忆支持证据时，它可能表现出更强的抵抗能力。如图比较结果所示：

实验

实验评估了五个流行大型语言模型，在多轮说服性错误信息下追踪初始知识、保持准确率和信念变化。结果显示，多数模型出人意料地脆弱；知识更强或更先进的模型通常抵抗能力更好，而重复暴露会放大错误信息影响。对 token 置信度和行为模式的分析表明，较低确定性往往对应较高易感性，简单的系统提示提醒可以在一定程度上缓解该效应。

示例展示了一个简单事实问题如何通过将正确答案替换为错误控制陈述而被转化为误导内容。它还表明，虚假主张可以通过逻辑、可信度和情感修辞诉求得到支持，而这些诉求由大型语言模型生成。该设置展示了一种结构化方法，用于研究说服性错误信息如何挑战模型鲁棒性。事实答案 Jonah 被替换为错误答案 Noah，以形成错误信息。虚假主张通过基于逻辑的证据、专业权威声明和情绪化叙事得到强化。

评估显示，生成的说服性诉求能够很好地保留其预期的错误主张和修辞策略，并覆盖不同数据集。所有问题类型在蕴含性和策略对齐方面得分都很高，其中策略对齐尤为稳定。蕴含性略有差异，NQ1 表现最强，TruthfulQA 相对较低但仍保持较高水平。生成的诉求在不同数据集上仍然强烈契合其预期修辞策略。NQ1 在评估数据集中表现出最强的 NLI 蕴含性。TruthfulQA 在评估中的蕴含性相对较低，但仍显示出很高的策略对齐度。

表格展示了四种用于以错误信息说服语言模型的信息模板：重复、逻辑诉求、可信度诉求和情感诉求。每次对话在呈现错误信息后使用一种策略，将说服信息放入一段短交互中，以探测信念变化。模板显示，非重复策略会将针对主张的支持与接受错误信息的请求结合。重复策略则直接断言错误信息。逻辑、可信度和情感策略会在请求接受前加入针对主张的特定诉求。每段对话只应用一种说服策略。这些模板支持分别测试不同说服路径，而不是混合策略。

排序表明，模型知识更多通常与对错误信息更强鲁棒性相关。GPT-4 在知识和鲁棒性两方面均排名最高，而较弱或较小的模型更容易出现信念改变。排序也暗示模型改进可能对应更强抵抗能力，但这种关系并不完全均匀。GPT-4 被评为知识最丰富且鲁棒性最强的受测模型。Llama-2-7B 被评为鲁棒性最弱模型，表明其更容易受到错误信息影响。能力更强或经过改进的模型总体上也表现出更强抵抗力，这与知识与鲁棒性的大致趋势一致。

与单次暴露相比，重复错误信息通常会提高模型采纳错误信念的可能性。该效应出现在两个受测模型和不同数据集上，其中 ChatGPT 显示出持续增强的易感性，GPT-4 的影响虽然较有限，但重复效应仍可观察。重复错误信息会在报告模型和基准上提高信念改变率。GPT-4 总体受影响较小，但在某些数据集上，重复仍能显著提升其被误导比例。

评估通过将事实问题中的正确答案替换为错误答案来生成错误信息，并验证所生成的逻辑、可信度和情感诉求能够保留预期的虚假主张和修辞策略。随后使用单独的说服模板来分离重复、逻辑、可信度和情感路径，而模型比较显示，更强知识通常对应更强抵抗能力，其中 GPT-4 最鲁棒，较弱模型更易受影响。与单次暴露相比，重复错误信息会提高错误信念采纳率，尽管其影响因模型和数据集而异。