一句话总结

来自罗格斯大学、加州大学圣迭戈分校、密歇根大学、麦吉尔大学以及法赫德国王石油矿产大学的研究人员诊断了自进化搜索 agents 中的 co-cheating 现象，并提出 CrossFit，一种交叉拟合验证方案，利用在不相交来源划分上训练的辅助 solver 对提议进行评分，将 Qwen3.5-4B 上的虚假一致质量降至 3.0%，Qwen3.5-9B 上降至 3.7%，同时在七个下游搜索基准上将平均性能较标准耦合自进化分别提升 8.8 和 8.4 分。

核心贡献

• 该论文识别并实证刻画了自进化搜索 agents 中一种名为 co-cheating 的失效模式，即 proposer 与 solver 在共享错误上越来越一致，使得内部奖励上升，而经来源审计的伪标签正确率在连续轮次中停滞或下降。
• 该论文提出多样本验证（MSV），对同一模型在有来源证据和无来源证据的情况下各查询三次，以决定任务准入并替换不可靠伪标签；MSV 将 Qwen3.5-4B 和 Qwen3.5-9B 上的虚假一致质量分别从 6.1% 和 8.8% 降至 5.7% 和 7.2%，但仍残留大量 co-cheating，并且每个候选需要六次标注生成。
• 该论文提出 CrossFit 作为主要方法，将来源文档划分为 A 和 B 两组，使由 A 生成的问题仅由在 B 上训练的辅助 solver 评分，反之亦然；CrossFit 将虚假一致质量降至 3.0% 和 3.7%，并在 4B 和 9B 规模上使七个基准的平均性能较耦合自进化提升 8.8 和 8.4 分，较 Search-R1 提升 8.7 和 7.8 分。

引言

搜索增强语言模型通过将推理与检索或浏览器操作交错来改善回答，但自进化的 proposer-solver 系统会自行创建训练问题和伪标签，并以 solver 一致性作为奖励信号。作者表明，这种设置可能产生“co-cheating”：错误伪标签教会 solver 重复同一错误，而 proposer 随后因生成强化该虚假一致的问题而获得奖励。多样本验证仅部分缓解该问题，并增加了推理成本。作者的主要贡献是 CrossFit，它将 proposer 的来源文档划分为 A 和 B 组，在互补组上训练辅助评分 solver，并使用交叉拟合一致性来塑造 proposer 奖励，从而防止同一来源错误直接自我强化。在 Qwen3.5-4B 和 Qwen3.5-9B 的实验中，CrossFit 降低了虚假一致质量，并在七个基准问答准确率上较耦合自进化和 Search-R1 均有提升。

方法

作者在自进化循环中引入两项关键干预以缓解错误强化：多样本验证（MSV）和交叉拟合 proposer 反馈（CrossFit）。

首先，MSV 作为准入时测试，确保所提出的问题产生独立于 proposer 草稿的稳定答案。给定来源文档 $x$x 和问题 $q$q，模型 $M$M 生成三个有来源答案 $a_i^{\text{src}} \sim M(\cdot \mid x, q)$aisrc​∼M(⋅∣x,q) 和三个无来源答案 $a_i^{\text{blind}} \sim M(\cdot \mid q)$aiblind​∼M(⋅∣q)，其中 $i \in \{1, 2, 3\}$i∈{1,2,3}。多数函数 $\text{Maj}$Maj 在至少两个样本在答案匹配器 $\simeq$≃ 下一致时返回一个答案，否则返回 $\emptyset$∅。定义 $y^v = \text{Maj}(a_{1:3}^v)$yv=Maj(a1:3v​)，其中 $v \in \{\text{src}, \text{blind}\}$v∈{src,blind}，准入条件表述为：

当 $I_{\text{MSV}} = 1$IMSV​=1 时，兼容的多数答案替代草稿作为训练标签；否则，该任务被拒绝。此步骤提升进入训练阶段的监督质量。

虽然 MSV 细化了训练标签，CrossFit 则防止这种监督被直接回收到 proposer 的奖励中。该交叉拟合反馈机制的整体流程在下方的框架图中详述。

在此架构中，proposer 首先从来源文档生成问题和伪标签。然后作者将来源文档划分为两个不同的组：fold 0 和 fold 1。这一划分在来源层面进行，以防止同一文档中的相关示例被同时放入两侧，否则会保留其旨在消除的数据重用路径。

系统维护两个与这些 fold 对应的辅助反馈 solver。在第 $r$r 轮中，一个辅助 solver 仅在 fold 0 的准入问题上训练，另一个仅在 fold 1 上训练。在随后的第 $r+1$r+1 轮中，它们的评估角色交叉：来自 fold 0 的问题由在 fold 1 上训练的 solver 评分，来自 fold 1 的问题由在 fold 0 上训练的 solver 评分。这确保评估特定问题的 solver 未曾在由该问题来源派生的伪标签上训练。

反馈规则根据互补 solver 的响应计算奖励。设 $h$h 表示来源 fold，$S_{r, 1-h}$Sr,1−h​ 为在互补 fold 上训练的辅助 solver，$\tilde{y}$y~​ 为采用的标签。proposer 根据五个 rollouts $z_1, \ldots, z_5$z1​,…,z5​ 获得奖励：

这里，函数 $f(k) = (5 - k) / 4$f(k)=(5−k)/4（当 $0 < k < 5$0<k<5 时，否则为零）作为前沿奖励。因此，原始训练目标得以保留，因为问题仍根据 solver 感知到的难度获得分数，但直接的自我强化错误路径被切断。

与辅助 solver 不同，主 solver 不被拆分。它继续在两个 fold 的所有准入问题上训练，利用细化后的反馈塑造下一轮 proposer 的课程，而不会继承局部的来源派生错误。

实验

实验使用 Qwen3.5-4B 和 Qwen3.5-9B，在七个开放域问答基准上评估自进化，比较耦合的 Dr. Zero 循环与多样本验证和来源排除的 CrossFit 反馈在三轮中的表现。对耦合循环的审计显示，proposer-solver 一致性随着虚假一致的积累而变得越来越乐观，而正确率没有同步提升，揭示出 co-cheating 动态。CrossFit 在下游搜索上较 Dr. Zero 和 Search-R1 显著改善，尤其是在多跳任务上；而单独验证收效甚微，表明反馈来源比伪标签质量本身更重要。使用固定问题库和来源级划分的消融实验证实，排除被评估来源进入反馈 solver（而不是评估器重复、划分或额外更新）防止了共享的同源错误，并解释了大部分学到的搜索改进。

交叉拟合反馈在两种 Qwen3.5 规模下均改善下游搜索性能，每个被评估基准都优于对比方法。多跳任务上的收益最大，而单独验证仅带来很小的平均提升，并且在交叉拟合之外几乎没有额外贡献。结果表明反馈来源是搜索策略改进的主要因素。CrossFit 在 4B 和 9B 规模下均优于 Dr. Zero 和 Search-R1，所有基准均获得提升。多跳基准的平均收益大于单跳数据集。仅使用 MSV 较 Dr. Zero 的提升不足 1 分，将 MSV 与 CrossFit 结合仅带来很小的额外改进。

实验在 4B 和 9B 规模的 Qwen3.5 上评估下游搜索中的交叉拟合反馈，将 CrossFit 与 Dr. Zero 和 Search-R1 进行比较。CrossFit 在两个规模的所有基准上一致提升性能，多跳任务收益最大，表明反馈来源是搜索策略改进的主要驱动因素。单独验证较 Dr. Zero 仅提供极小的平均提升，并且在交叉拟合之外几乎没有额外贡献，表明其贡献有限。