一句话总结

作者提出：在仅观察聚合结果且算法盲评的条件下，基于大语言模型的人设模拟可有效替代人类A/B测试，证明其与人口变化难以区分；他们定义了信息论区分度指标，表明当人设样本足够时，合成基准在决策相关性上与实地实验等效，能以目标分辨率可靠区分不同方法。（58字）

核心贡献

• 社会系统（如市场设计或行为干预）的实地实验（A/B测试）虽可信但成本高、周期长，严重阻碍迭代开发；而基于大语言模型的人设模拟虽成本低廉，但其作为即插即用基准替代方案的有效性仍存疑，因评估接口可能存在偏差。
• 本文证明：当且仅当满足两个条件时，人设模拟与简单人口面板变化（如纽约换为雅加达）难以区分：(i) 方法仅观察聚合结果（聚合观测）；(ii) 评估仅依赖提交产物而非算法来源（算法盲评）。
• 提出针对聚合通道的信息论区分度指标，表明要实现与实地实验等效的决策相关人设基准，需足够多的独立人设评估，并推导出明确的样本量边界——在指定分辨率下可靠区分显著不同的方法。

引言

实地实验是社会系统（如市场设计或行为干预）方法的黄金基准标准，但其高成本和慢速执行严重阻碍迭代开发。先前尝试用大语言模型人设模拟作为低成本替代方案面临关键不确定性：尚不清楚用人工人设替换人类是否保留了方法所优化的核心评估接口，尤其在因果应用中存在证据表明提示词操纵会意外改变潜在场景要素。

作者证明：当且仅当满足两个条件时，人设模拟在理论上可成为实地实验的有效即插即用替代方案：(i) 方法仅观察聚合结果（非个体响应）；(ii) 评估仅依赖提交产物，而非算法身份或来源。关键的是，他们通过定义人设诱导评估通道的信息论区分度指标，将这一识别结果扩展至实用层面。这给出了明确的样本量边界——说明需多少次独立人设评估才能在目标分辨率下可靠区分有意义的方法差异——将人设质量转化为可量化的预算问题。

方法

作者采用形式化框架将算法基准测试建模为交互学习过程：算法迭代选择方法配置并接收评估器反馈。该过程围绕三个核心组件构建：配置空间、评估管道和反馈驱动的适应机制。

方法的核心是方法配置 $\theta \in \Theta$θ∈Θ，它封装了定义系统或流程的所有可控自由度——如模型权重、提示词、超参数、解码规则或数据筛选策略。部署 $\theta$θ 会产生产物 $w(\theta) \in \mathcal{W}$w(θ)∈W，即提交给基准测试的对象。产物空间 $\mathcal{W}$W 具有灵活性，可容纳单次输出、随机分布、交互策略或智能体 rollout，具体取决于任务。

评估过程建模为两阶段管道：先获取微观级判断，再聚合为单一反馈信号。该管道由元组 $(P, I, \Gamma, L)$(P,I,Γ,L) 完整定义：$P$P 是评估器（人类或大语言模型人设）的分布；$I(\cdot \mid w, p)$I(⋅∣w,p) 是微观仪器，根据产物 $w$w 和评估器 $p$p 生成个体响应；$\Gamma$Γ 是将 $L$L 次微观响应映射为单一可观测反馈 $o \in \mathcal{O}$o∈O 的确定性聚合函数；$L$L 为面板规模。整个评估调用诱导出 $\mathcal{O}$O 上的马尔可夫核 $Q_{P,I}(\cdot \mid w)$QP,I​(⋅∣w)，表示产物 $w$w 的聚合反馈分布。

算法在重复的"提交-观测"循环中作为自适应学习器运行。每轮 $t$t，它基于决策核 $\pi_t(\cdot \mid H_{t-1}, S)$πt​(⋅∣Ht−1​,S) 选择配置 $\theta_t$θt​（或等价产物 $w_t$wt​），其中 $H_{t-1}$Ht−1​ 是历史提交和反馈的可观测记录，$S$S 表示基准测试开始前的辅助信息。第 $t$t 轮收到的反馈 $o_t$ot​ 从 $Q_{P,I}(\cdot \mid w_t)$QP,I​(⋅∣wt​) 中抽取，算法据此更新策略。

两个基准卫生条件对确保接口完整性至关重要。第一，聚合观测 (AO) 要求算法仅观测聚合反馈 $o_t$ot​，而非面板身份或原始投票等微观细节。第二，算法盲评 (AB) 要求反馈分布仅依赖提交产物 $w_t$wt​，而非生成它的算法身份或来源。二者共同确保评估表现为定义良好的预言机通道，使方法能将基准视为稳定环境。

在此条件下，用人设替换人类评估器对方法而言等同于"仅面板变化 (JPC)"：交互结构不变，唯一差异在于诱导的产物-反馈核 $Q(\cdot \mid w)$Q(⋅∣w)。这种等价性通过分解为提交核与产物相关反馈核的交互轨迹规律形式化，无论评估器类型如何均保持方法的信息结构。

为评估此类基准的实用性（超越其有效性），作者引入区分度 $\kappa_Q$κQ​ 概念：定义为在度量 $d_{\mathcal{W}}$dW​ 下产物差异至少为分辨率阈值 $r$r 时，反馈分布间KL散度的下确界。在同方差高斯假设下，这简化为最坏情况下的成对信噪比 (SNR)，可通过重复评估实证估计。可靠成对比较的样本复杂度与 $\kappa_Q$κQ​ 成反比，需约 $L \geq \frac{2}{\kappa_Q} \log \frac{1}{\delta}$L≥κQ​2​logδ1​ 次独立评估才能将错排概率控制在 $\delta$δ 以内。

$d_{\mathcal{W}}$dW​ 和 $r$r 的选择因方法而异，应反映开发者的自由度和最小有效迭代单元。例如在提示词调优中，$d_{\mathcal{W}}$dW​ 可为指令子句的莱文斯坦距离，$r=1$r=1 对应单次原子编辑。这种操作化使实践者能通过试点运行估计 $\kappa_Q$κQ​，并推导稳定方法比较所需的数据集规模。

总之，该框架提供了基于信息论原理和实用设计指南的严谨模块化结构，用于建模自适应基准测试。它使系统分析人设评估何时可作为人类判断的有效且实用替代方案成为可能，同时量化了可靠方法优化的数据需求.

实验

• 对比人类基准（人类评估器+微观仪器）与人设基准（大语言模型评估器+人设配置）设置
• 验证两种方法对评估方法产生等效的可观测反馈核（$Q_{\text{hum}}$Qhum​ 和 $Q_{\text{pers}}$Qpers​）
• 确认算法对人类或人设来源的聚合反馈分布处理方式完全相同