一句话总结

中国科学院与加州大学圣塔芭芭拉分校的研究人员表明，在多数投票式测试时扩展下，随着采样预算增加，复杂提示策略逐渐不如简单的 Chain-of-Thought（思维链）。论文给出理论证明、一种在大采样预算下预测最优提示策略的概率方法，以及两种由理论导出的技术，可显著提升扩展性能。

核心贡献

• 论文在 6 个 LLM、8 种提示策略和 6 个基准上系统研究多数投票下的测试时扩展，表明随着采样与计算开销增加，简单的 Chain-of-Thought（思维链）可以超过更复杂的提示策略。

• 论文提供理论证明与实验证据，说明 Chain-of-Thought（思维链）改进更快，因为它有更少的困难问题、更多的容易问题，并且更不容易受到错误答案影响。

• 论文引入一种 O(1) 概率方法，可在无需资源密集型推理的情况下预测扩展性能并选择最佳策略；同时提出难度自适应扩展和动态策略选择。对于 LLaMA-3-8B-Instruct，这使 GSM8K 上的 Majority@10 准确率从 86.0% 提升到 97.4%，并使 MATH-500 上的准确率从 15.2% 提升到 61.0%。

引言

作者聚焦于通过扩展测试时计算来提升大语言模型的推理能力，特别是多数投票，这是在具备额外推理预算时提升模型输出的一种实用方式。先前工作提出了许多提示策略，例如 Chain of Thought（思维链），并表明测试时扩展可以改善推理；但在等效的采样时间或计算预算下，不同策略如何表现仍不清楚。作者在六个大语言模型和六个推理基准上比较八种主流提示策略，发现随着扩展规模增加，简单的 Chain of Thought 往往成为最佳策略。作者从理论和实验两方面解释这一结果，提出一种预测扩展性能的高效方法，并引入两种技术，通过适配问题难度并选择最佳提示策略来改进扩展表现。

数据集

• 作者在由六个数据集组成的基准套件上评估这些提示策略，这些数据集来自原始论文使用的推理任务与领域知识任务。
• 基准集包含三个数学推理数据集：GSM8K、GSM-Hard 和 MATH-500。
• 还包含三个来自 MMLU 的学科科学数据集：highschool-biology、chemistry 和 physics。
• 给定文本未说明这些基准的子集大小、采集来源、过滤规则、元数据构造、裁剪策略或模式细节。
• 数据用于评估而非训练，文中未描述训练划分、混合比例或数据处理步骤。

方法

方法将测试时扩展视为推理时的提示选择问题，而不是训练或微调问题。系统使用语言模型 $\mathcal{M}$M、提示策略 $\mathbf{P}_i$Pi​ 以及答案提取器 $\phi$ϕ，后者通常通过模式匹配将生成输出转换为离散答案候选。对于问题 $x$x，单个样本表示为 $\phi[\mathcal{M}(x \mid \mathbf{P}_i)]$ϕ[M(x∣Pi​)]。在主要设定下，最终答案由 $N$N 次采样操作得到。

作者将提示策略分为两类。非迭代策略包括 Direct Prompting（直接提示）、Chain of Thought（思维链）、Least to Most（由简入繁）、Step Back Prompting（后退提示）和 Analogous Prompting（类比提示）。这些策略被组合为

$$\mathcal{P}_1 = \{\text{DiP}, \text{CoT}, \text{L2M}, \text{SBP}, \text{AnP}\}.$$P1​={DiP,CoT,L2M,SBP,AnP}.

对这些方法，模型生成 $N$N 个独立答案，并通过多数投票选择最终答案：

$$\phi[\mathcal{M}(x \mid \mathbf{P}_i); N] = \operatorname{mode} \left\{ \phi[\mathcal{M}(x \mid \mathbf{P}_i)] \right\}_{1}^{N}, \quad \mathbf{P}_i \in \mathcal{P}_1.$$ϕ[M(x∣Pi​);N]=mode{ϕ[M(x∣Pi​)]}1N​,Pi​∈P1​.

迭代策略包括 Self Refine（自我修正）、Multi Agent Debate（多 Agent 辩论）和 Tree of Thoughts（思维树）。这些策略被组合为

$$\mathcal{P}_2 = \{\text{S-RF}, \text{MAD}, \text{ToT}\}.$$P2​={S-RF,MAD,ToT}.

对 Self Refine 和 Multi Agent Debate，模型执行 $N$N 轮改进或辩论，并在过程结束时获得答案。对 Tree of Thoughts，模型探索并评估多条推理路径，然后选择其中最佳路径。形式化地，

$$\phi[\mathcal{M}(x \mid \mathbf{P}_i); N] = \phi[\mathcal{M}(x \mid \mathbf{P}_i; N)], \quad \mathbf{P}_i \in \mathcal{P}_2.$$ϕ[M(x∣Pi​);N]=ϕ[M(x∣Pi​;N)],Pi​∈P2​.

这种记法允许在“采样 $N$N 次”的等效解释下比较不同策略。如果采样预算固定，最优策略定义为

$$\mathbf{P}_N^* = \operatorname*{argmax}_{\mathbf{P}_i} \mathbb{E}_{x \in \mathfrak{D}} \mathbb{1} \left\{ \phi[\mathcal{M}(x \mid \mathbf{P}_i); N] = y \right\},$$PN∗​=Pi​argmax​Ex∈D​1{ϕ[M(x∣Pi​);N]=y},

其中 $y$y 是 $x$x 的真实答案。然而，不同提示可能生成不同数量的 prompt tokens 和 completion tokens。由于 completion tokens 通常比 prompt tokens 更昂贵，作者定义了加权计算开销

$$\mathscr{C}(x \mid \mathcal{M}; \mathbf{P}_i; N)$$C(x∣M;Pi​;N)

并在固定总开销 $O$O 下比较策略：

$$\mathbf{P}_O^* = \operatorname*{argmax}_{\mathbf{P}_i} \max_N \mathbb{E}_{x \in \mathfrak{D}} \mathbb{1} \left\{ \phi[\mathcal{M}(x \mid \mathbf{P}_i); N] = y \right\}, \quad \text{s.t.} \sum_{x \in \mathfrak{D}} \mathscr{C}(x \mid \mathcal{M}; \mathbf{P}_i; N) \leq O.$$PO∗​=Pi​argmax​Nmax​Ex∈D​1{ϕ[M(x∣Pi​);N]=y},s.t.x∈D∑​C(x∣M;Pi​;N)≤O.

对于开源模型，可使用闭源模型 token 定价作为该成本计算的代理。

为理解为什么某些提示，特别是 Chain of Thought，在较小 $N$N 下表现较差、但在较大 $N$N 下表现更好，方法对答案分布进行建模。对于固定问题 $x$x，设可能的提取答案为

$$\mathcal{A} = \{a_1, a_2, \ldots, a_m\},$$A={a1​,a2​,…,am​},

并设策略 $\mathbf{P}_i$Pi​ 下相应的单样本概率为

$$p_{i,1}, p_{i,2}, \ldots, p_{i,m}.$$pi,1​,pi,2​,…,pi,m​.

在 $N$N 次采样后，答案出现次数向量服从多项式分布：

$$\mathbf{X}_i \sim \operatorname{Mult}(N, p_{i,1}, p_{i,2}, \ldots, p_{i,m}).$$Xi​∼Mult(N,pi,1​,pi,2​,…,pi,m​).

最终多数投票答案是出现次数最大的答案之一。如果多个答案出现次数相同且均为最大值，则随机选择一个。因此，真实答案 $a_1$a1​ 的正确概率可写为

$$\Pr(a_1 \mid \mathbf{P}_i; N).$$Pr(a1​∣Pi​;N).

作者通过概率质量排序刻画问题难度。设

$$p_{\max} = \max\{p_{i,1}, \ldots, p_{i,m}\}$$pmax​=max{pi,1​,…,pi,m​}

并定义

$$\mathcal{S} = \{a_j \mid p_{i,j} = p_{\max}\}.$$S={aj​∣pi,j​=pmax​}.

对于策略 $\mathbf{P}_i$Pi​，如果正确答案属于 $\mathcal{S}$S 且 $\mathcal{S}$S 只包含该答案，则该问题是简单问题；如果正确答案属于 $\mathcal{S}$S，但还有其他错误答案与其并列，则该问题是中等难度问题；如果正确答案不在 $\mathcal{S}$S 中，则该问题是困难问题。简单问题往往会随着更多采样而改善；中等难度问题会改善但存在上限；当采样更多时，困难问题可能退化，因为模型会持续投票给错误答案。

这种概率观点引出了预测模块。系统不使用非常大的 $N$N 来评估策略，而是从少量样本中估计答案概率 $\{p_{i,1}, p_{i,2}, \ldots, p_{i,m}\}${pi,1​,pi,2​,…,pi,m​}，并预测较大 $N$N 下的性能。根据中心极限定理，对于足够大的 $N$N，正确答案的出现次数可近似为

$$\mathbf{x}_1 \sim \mathcal{N} \left( N p_1, N p_1(1 - p_1) \right).$$x1​∼N(Np1​,Np1​(1−p1​)).

错误答案中的最大出现次数记为

$$M = \max(\mathbf{x}_2, \ldots, \mathbf{x}_m).$$M=max(x2​,…,xm​).

当 $N$N 较大时，$M$M 的分布可近似为

$$M \sim \mathcal{N} \left( N p_{\max}, N p_{\max}(1 - p_{\max}) \right),$$M∼N(Npmax​,Npmax​(1−pmax​)),

其中 $p_{\max}$pmax​ 是最高错误答案概率。正确答案赢得多数投票的概率可通过比较两个正态变量来近似。定义

$$Z = \mathbf{x}_1 - M,$$Z=x1​−M,

则 $Z$Z 的分布为

$$Z \sim \mathcal{N} \left( N(p_1 - p_{\max}), N[p_1(1-p_1) + p_{\max}(1-p_{\max})] \right).$$Z∼N(N(p1​−pmax​),N[p1​(1−p1​)+pmax​(1−pmax​)]).

因此，

$$\Pr(a^* = a_1) \approx \Pr(Z > 0).$$Pr(a∗=a1​)≈Pr(Z>0).

使用标准正态累积分布函数 $\Phi$Φ，预测的扩展性能为

$$\Pr(a_1 \mid \mathbf{P}_i; N) \approx 1 - \Phi \left( - \frac{ p_1 - p_{\max} }{ \sqrt{ \frac{ p_1(1-p_1) + p_{\max}(1-p_{\max}) }{ N } } } \right).$$Pr(a1​∣Pi​;N)≈1−Φ​−Np1​(1−p1​)+pmax​(1−pmax​)​​p1​−pmax​​​.

随后，对于提示策略，数据集级预测准确率为

$$\operatorname{Accuracy}(\mathbf{P}_i, N) = \mathbb{E}_{x \in \mathfrak{D}} \Pr(a_1 \mid \mathbf{P}_i; N),$$Accuracy(Pi​,N)=Ex∈D​Pr(a1​∣Pi​;N),

在采样时间 $N$N 下，预测最优策略为

$$\mathbf{P}_N^* = \operatorname*{argmax}_{\mathbf{P}_i} \operatorname{Accuracy}(\mathbf{P}_i, N).$$PN∗​=Pi​argmax​Accuracy(Pi​,N).

这为多数投票提供了一种低成本扩展规律。不同提示策略的预测扩展行为和实际扩展行为如下图。

该方法还引入基于难度分析的自适应扩展模块。如果系统估计问题对当前提示策略而言困难，就停止增加采样次数并返回单个答案，因为额外的多数投票可能恶化性能。如果问题被估计为简单或中等难度，系统采用通常的扩展流程。考虑两类难度信息来源。在自适应变体中，语言模型自行判断问题是否困难；在 oracle 变体中，难度标签由外部提供，作为上界参考。这两种策略用于决定一个问题采用正常扩展还是单次采样作答。

下图比较了非迭代提示策略的自适应行为与标准固定扩展。

第二个改进模块将提示选择视为逐问题决策。某个策略总体上可能较准确，但同一个问题对该策略可能困难；而平均准确率较低的另一个策略可能让该问题变得容易。因此系统可以为每个输入选择最优提示策略 $\mathbf{P}_i$Pi​。在 oracle 设定中，直接提供每个问题的最佳策略，从而得到上界。在动态设定中，模型需自行选择最合适的策略。该设计还可与自适应扩展结合：先为每个问题选择最佳提示，再基于估计难度决定是进行扩展还是只作答一次。

实验

实验在多个开源与闭源 LLM 上，通过比较不同采样时间预算和推理成本预算下的提示策略，在多个推理基准上进行评估。主要定性发现是，在大规模测试时扩展下，简单的 Chain-of-Thought 通常成为最强选项，因为它包含更多容易问题，并产生受错误答案扰动更少的答案分布。额外分析验证了预测扩展行为的低成本方法，并表明在强 oracle 引导下，难度感知采样与逐问题策略选择能够进一步提升性能。

该表在多个语言模型上按容易问题、中等难度问题和困难问题的占比，以及极限准确率来比较提示策略。CoT 通常拥有最大的容易问题占比和最小的困难问题占比，这与其最强极限准确率相符。困难问题相对更多的策略，例如 AnP，往往表现出较弱的极限准确率。在所报告模型中，CoT 使问题构成偏向更容易的题目，并远离困难题目。在所比较的提示策略中，CoT 达到最高极限准确率。困难问题比例更高的提示策略往往具有更低的极限准确率。

该表统计一种提示策略初始准确率高于另一种策略、但在扩展后被另一种策略超过的频率。在所示 Qwen2.5-7B-Instruct 结果中，CoT 最经常超过其他方法，也最不容易被其他方法超过。这一模式支持 CoT 比其余测试的提示策略具有更强扩展潜力的结论。作为相对于另一种方法能够在扩展后取得优势的提示策略，CoT 的总计次数最高。作为起初领先但随后落后的提示策略，CoT 的总计次数最低。AnP 在起初领先、但扩展后仍被超过的情形中次数最多。

该表比较提示策略将概率分配到错误答案上的均匀程度，较低数值表示更平坦的错误答案分布。CoT 在多个模型上通常产生最均匀的错误答案分布，而引导性更强的策略往往把概率集中到更少的错误答案上。L2M 是主要例外，在 GLM 上达到略低的散度，但 CoT 在该模型上几乎同样均匀。CoT 在多数测试模型上显示出最均匀的错误答案分布。AnP 在所有测试模型上具有最不均匀的错误答案概率。引导性更强的提示策略往往比 CoT 产生更集中的错误答案分布。

该表在逐渐增大的采样时间限制下比较真实最优提示策略与方法的预测策略。在每个评估限制下，预测策略都与真实最优策略一致，这支持使用低成本评估来预判最优测试时扩展行为。真实最优策略在最小限制时为 L2M，在较短限制时变为 CoT，随后在较大限制时变为 SBP。预测策略在所有测试采样时间限制下均正确，表明在资源约束下预测稳定。该结果支持使用较小的采样预算来推断大得多的采样预算下的最优策略。

实验通过问题难度分布、极限准确率、扩展动态、错误答案集中程度以及预算约束下的策略选择，在若干语言模型上比较提示策略。CoT 始终表现出更强的扩展行为，通常比 AnP 等更具引导性的策略产生更容易的问题构成、更高的极限准确率以及更均匀的错误答案分布。策略排序也会随采样预算变化，低成本评估能够正确预测高预算下的最佳策略。这些结果表明，可以借助扩展行为和错误模式区分提示方法，并且低成本评估有助于识别有效的测试时扩展策略。