一句话总结

作者提出 LLM 辩论，其中两个专家模型为不同答案进行争辩，而一个非专家裁判选择正确答案，并证明以无监督方式优化专家模型的说服力可以提高非专家裁判识别正确答案的能力，在 QuALITY 上使非专家模型和人类裁判的准确率分别达到 76% 和 88%。

核心贡献

• 该论文提出了一种用于可扩展监督的信息不对称辩论协议，其中具有原始文本信息的更强 LLM 专家针对备选答案展开辩论，而较弱的非专家裁判负责裁决。在 QuALITY 上，辩论将非专家 LLM 裁判的准确率提升到 76%，将人类裁判的准确率提升到 88%；相比之下，简单基线分别为 48% 和 60%。

• 以无监督方式优化 LLM 辩论者的说服力，可以提高裁判识别正确答案的能力。best-of-N 和 critique-and-refinement 等推理时方法使辩论者更具说服力，并更有效地支持正确答案，而且这种收益能够泛化到未见过的裁判。

• 实验结果表明，辩论优于单模型顾问式咨询，并带来校准性更好的人类监督。人类裁判在辩论中的准确率达到 88%，而顾问式咨询为 78%；LLM 裁判在辩论中的准确率达到 76%，而顾问式咨询为 54%；辩论在不同拒绝阈值下都提高了准确率，同时产生更好的校准。

引言

对齐能力越来越强的语言模型很困难，因为许多方法依赖标注数据或专家真实答案，而且当模型性能超过人类专业知识时，这些标注可能不可得。此前的可扩展监督思想（包括辩论）表明，裁判或批评一个答案可能比生成答案更容易，但评估批评仍然具有挑战性，而且早期的辩论工作经常使用人类辩论者或限制论证生成。作者提出了一种用于阅读理解的、信息不对称的辩论设置，其中专家辩论者可以访问源文本并使用引用证据，而较弱的模型裁判或人类裁判无法访问文本，只能根据辩论论证进行判断。该研究引入说服力指标，使用推理时方法优化辩论者以获得裁判认可，并证明辩论使弱裁判能够比单专家顾问式咨询更好地监督更强的辩论者，同时改善校准，并泛化到未见过的模型裁判。

方法

作者将监督问题形式化为一种信息不对称的问答设置。专家模型被称为辩论者或顾问，可以访问底层长篇叙事文本原文，并可以就两个候选答案中的一个进行论证。非专家裁判无法阅读文本，只能依赖通过协议暴露出的信息。对于每个问题，系统将一个正确答案与最佳干扰项进行比较，形成一个平衡的二选一。裁判的任务是仅根据协议记录以及专家提供的已验证证据来识别正确答案。

参见框架图。

该流程包含三个主要监督协议：辩论、交互式辩论和顾问式咨询。在辩论协议中，两个专家模型被分配对立答案，并在固定轮数内同时论证。记录会累积所有论证；辩论结束后，裁判阅读记录并选择一个答案。该协议具有对抗性，因为每个辩论者都会试图说服裁判选择其被分配的答案，同时削弱对方的主张。在每轮开始时，辩论者会收到包含游戏规则、其被分配答案以及当前记录的提示。

交互式辩论扩展了辩论协议，允许裁判在每轮结束后参与。裁判可以强调尚未解决的子问题、请求澄清，或向任一辩论者提出问题。这些由裁判生成的陈述会被附加到记录中，并在后续轮次中对所有参与者可见。这种设计使裁判能够在引出相关信息方面发挥更主动的作用，而不只是评估被动论证。

顾问式咨询基线使用单个专家模型，而不是两个。顾问被分配一个特定答案，并试图说服裁判该答案是正确的，同时裁判会提出探索性问题，以揭示有关文本的信息。针对正确候选答案和错误候选答案都会运行顾问式咨询，以保持与辩论中使用的相同的 50/50 先验。

专家模型配备了引用验证工具。在论证过程中，模型可以在引用标签内插入文本片段。如果引用片段与底层文本中的某一段完全匹配，工具就会将其标记为已验证；否则标记为未验证。裁判被指示只信任已验证引用。该模块旨在将论证锚定在事实性文本片段上，并减少无根据的说服。

实验框架控制呈现给裁判的信息量。协议运行三轮，记录被限制在固定的总长度内。顾问论证和辩论者论证分别设置字数限制，以适应不同的发言者数量并减少冗长偏差。专家模型使用自我中心记录视图，其中模型自己的论证排在前面，并且还可以使用隐藏草稿本，裁判或其他参与者无法看到。

为了创建具有不同能力的辩论者和顾问模型，作者添加推理时优化模块，而不是仅依赖基础模型性能。在 best-of-N 采样中，模型生成多个候选论证，偏好模型选择裁判认为最具说服力的论证。偏好模型针对裁判反馈进行优化，并使用语言模型对数概率对输出进行评分。在 critique-and-refinement 中，另一个模型针对初始论证生成多个批评，偏好模型对这些批评进行评分，所选批评用于改进最终答案。这些模块能够生成具有不同说服力强度的辩论者，以研究监督协议如何随专家能力扩展。

评估系统同时使用 LLM 裁判和人类裁判。LLM 裁判可能引入位置偏差和冗长偏差，因此框架通过两次运行同一辩论并交换辩论者顺序，以及严格执行记录长度限制，来缓解这些问题。人类裁判通过网页界面交互，界面只显示问题、记录和答案选项。裁判会经过训练阶段，并根据与其他标注者的一致性及其解释质量进行筛选，但不将真实标签作为筛选标准。

为了高效比较大量辩论者模型，作者使用交叉对战锦标赛。直接比较每一对模型将需要平方级数量的比赛。相反，作者使用瑞士制锦标赛，以产生信息充分排名的方式配对辩论者，在 $n$n 名辩论者时使用约 $O(n \log n)$O(nlogn) 场比赛。

该方法还引入无监督指标来衡量辩论者表现。一场辩论比赛由两名辩论者、两个候选答案和一名裁判定义。胜率是指裁判选择某位辩论者答案的频率：

$$\omega_1(D_1,D_2,J) = \frac{1}{N} \sum_{i=1}^{N} \mathbb{1}\{J(q_i,a_{i1},a_{i2}) = a_{i1}\}.$$ω1​(D1​,D2​,J)=N1​i=1∑N​1{J(qi​,ai1​,ai2​)=ai1​}.

由于某些答案分配可能比其他答案更容易辩护，框架会在辩论者之间翻转答案分配，并对所得胜率取平均值。如果翻转答案分配后的胜率满足

$$\bar{\omega}_1(D_1,D_2,J) > \frac{1}{2},$$ωˉ1​(D1​,D2​,J)>21​,

那么 $D_1$D1​ 被认为比 $D_2$D2​ 更具说服力。

为了获得总体说服力排名，作者通过拟合 Elo 风格的潜在能力参数来聚合胜率。每名辩论者获得一个等级，两名辩论者 $D_1$D1​ 和 $D_2$D2​ 之间的期望胜率为

$$\bar{\omega}_1(D_1,D_2,J) = \frac{1}{1 + 10^{(E_2 - E_1)/400}}.$$ωˉ1​(D1​,D2​,J)=1+10(E2​−E1​)/4001​.

该 Elo 等级无需真实标签即可计算，因此适合无监督监督评估。

该框架还以辩论者是否被分配正确答案为条件来衡量求真性。它分别计算正确答案等级和错误答案等级。正确答案等级 $E^C$EC 反映在支持真实答案时的说服力，而错误答案等级 $E^I$EI 反映在支持错误答案时的说服力。条件胜率为

$$\omega_C(D_1,D_2,J) = \frac{1}{1 + 10^{(E_2^I - E_1^C)/400}}.$$ωC​(D1​,D2​,J)=1+10(E2I​−E1C​)/4001​.

$E^C$EC 与 $E^I$EI 之间的较大差距表明，辩论者在支持正确答案时更有效。

最后，裁判准确率通过同一模型副本之间的比赛进行评估。对于辩论，

$$\alpha(D,J) = \alpha(D,D,J).$$α(D,J)=α(D,D,J).

对于顾问式咨询，由于裁判不知道顾问的目标答案，准确率在顾问的两种可能答案分配上取平均：

$$\alpha(D_1,J) = \frac{1}{2} \left( \alpha(D_1,-,J) + \alpha(-,D_1,J) \right).$$α(D1​,J)=21​(α(D1​,−,J)+α(−,D1​,J)).

总体来看，协议设计、引用验证模块、推理时优化模块、锦标赛调度、偏差缓解步骤和无监督等级指标共同构成了一个连贯的评估流程，用于研究非专家裁判能否使用辩论式监督，从更强的专家模型中引出正确答案。

实验

实验评估一种信息不对称的阅读理解设置，其中非专家 LLM 裁判或人类裁判无法访问源文本，必须选择答案，而专家模型使用引用验证工具支持其论证，并比较辩论与顾问式咨询作为监督方法的效果。LLM 裁判实验表明，辩论优于顾问式咨询，并从更强的辩论者和裁判中获益；随着说服力提升，辩论变得更具求真性，而更强的顾问可能不成比例地误导裁判。人类裁判实验确认，辩论相比顾问式咨询也能提高准确率和置信度校准，而交互式裁判没有带来明显收益，弱辩论者论证仍然是主要限制；这些结果支持在证据可验证时，将辩论作为可扩展监督的稳健方法。

人类裁判协议比较辩论和顾问式咨询的静态与交互式变体，并在每种情况下由人类裁判作出最终决定。人类评估表明，在静态和交互式设置中，辩论都实现了高于顾问式咨询的裁判准确率，而顾问式咨询容易受到误导性专家的影响。增加交互式人类接触并没有提高辩论准确率，说明额外交互并不能克服信息不对称。在静态和交互式协议中，辩论产生的人类裁判准确率均高于顾问式咨询。静态辩论的准确率与交互式辩论相当，说明额外人类交互没有帮助。在所有协议中，人类裁判都取得了比 LLM 裁判更高的准确率。当专家提供错误信息时，顾问式咨询可能导致低准确率。

实验使用人类裁判协议比较辩论和顾问式咨询的静态版本与交互式版本，并由人类裁判作出最终决定。结果表明，在两种设置中，辩论都产生高于顾问式咨询的裁判准确率，而当专家具有误导性时，顾问式咨询表现较差。交互式辩论并未优于静态辩论，说明仅增加人类交互并不能解决信息不对称；人类裁判通常也比 LLM 裁判更准确。