一句话总结

哈佛大学计算与社会研究中心的研究人员开发了分析框架和数据驱动工具，用以评估机器学习预测在识别处境最差群体方面的福利影响，将其有效性与扩大行政能力等替代政策杠杆进行比较，并通过德国长期失业案例研究验证其方法。

核心贡献

• 论文为公平驱动的公共部门资源配置构建了数学框架，其中定义了预测-触达率，用于衡量被识别出的真正处境最差个体比例，而不是总体预期福利。

• 分析形式化了预测准确性与扩大筛查容量之间的权衡，表明解释固定比例方差的预测器可以产生可观的触达率，并确定了局部预测-触达率超过 1 的条件。

• 论文为实践者引入实证工具，并将其应用于包含数十万求职者的德国行政数据集，表明理论结论可以推广到真实算法画像系统，并且扩大筛查容量可能比提升预测准确性产生更大影响。

引言

大型公共行政机构越来越多地使用风险预测工具，将有限支持分配给面临不利结果的人群，例如面临辍学风险的学生或需要帮助的求职者。这些系统的重要性在于，公平导向的项目需要优先关注处境最差者，而不只是改善平均结果；其实际价值取决于它们如何影响底线福利，以及与其他政策选项相比如何。

已有研究通常将预测准确性作为主要设计杠杆，但缺少一种框架，将统计预测与扩大筛查容量、个案工作者资源或成本效率等制度选择结合起来评估。这使得人们难以判断，与更简单的行政调整相比，投入更好的模型是否真的能更有效地识别脆弱人群。

作者利用理论预测-触达率和德国长期失业的真实案例研究，比较更好预测与更广泛筛查容量的边际价值。论文的主要贡献是一个实用框架，用于判断预测系统在何时创造最大价值，表明当模型非常弱或近乎完美时预测尤其重要，而在现实中具有中等准确性的条件下，扩大触达往往带来更大收益。

数据集

• 作者使用一个德国行政劳动力市场数据集，该数据集由合并多项公共记录构建，覆盖德国劳动力的很大一部分。
• 数据包含求职者的就业历史、福利领取、失业期、培训项目参与情况以及人口统计属性。
• 在该案例研究中，作者训练了一个画像模型，用于预测新注册求职者的失业持续时间。
• 预测目标是失业天数，上限为 24 个月。
• 作者将分析限制在 2010 年至 2015 年间开始的失业期，以确保完整的 24 个月随访期和真实的部署场景。
• 过滤后，数据集包含 274,515 名不同求职者和 553,980 段失业期。
• 模型输入包括覆盖人口统计细节、劳动力市场历史和最近工作信息的协变量。
• 作者使用模型对求职者排序，并关注最高风险群体，该群体定义为预期失业持续时间最长的那一部分人。
• 该数据集还支持长期失业风险分析，在过滤后的数据中，持续超过一年的失业约占案例的 15%。

方法

作者将配置问题表述为受约束的筛查决策。规划者选择一个二元规则 $\pi:\mathbb{R}\to\{0,1\}$π:R→{0,1}，仅使用预测福利结果 $\hat Y$Y^ 来决定个人是否进入筛查或被纳入干预对象。目标是在遵守资源上限 $\alpha$α（即可筛查人口比例的上限）的同时最大化被触达的处境最差人口比例。目标函数是

$$\max_{\pi:\mathbb{R}\to\{0,1\}} \mathbb{E}\left[\pi(\hat Y)=1 \mid Y\le F_Y^{-1}(\beta)\right] \quad \text{s.t.} \quad \mathbb{E}[\pi(\hat Y)]\le \alpha,$$π:R→{0,1}max​E[π(Y^)=1∣Y≤FY−1​(β)]s.t.E[π(Y^)]≤α,

其中 $F_Y^{-1}(\beta)$FY−1​(β) 标记定义处境最差 $\beta$β 比例人口的福利阈值。

当预测完美且 $\hat Y=Y$Y^=Y 时，最优策略很直接：按真实结果对个人排序，并选择最差的 $\alpha$α 比例。在预测不完美的情况下，最优规则按个人属于贫困群体的条件概率排序。具体而言，定义评分

$$s(\hat Y)=\Pr\left(Y\le F_Y^{-1}(\beta)\mid \hat Y\right).$$s(Y^)=Pr(Y≤FY−1​(β)∣Y^).

最优筛查策略则为

$$\pi^*(\hat Y_i)=\mathbf{1}\left\{s(\hat Y_i)\ge F_s^{-1}(1-\alpha)\right\},$$π∗(Y^i​)=1{s(Y^i​)≥Fs−1​(1−α)},

即根据该预测贫困可能性筛查顶部 $\alpha$α 比例的个人。

为了得到可处理的策略价值表达式，作者分析一个高斯基准模型，其中预测误差是可加且独立的：

$$Y-\hat Y\stackrel{iid}{\sim}\mathcal{N}(0,\gamma^2), \qquad Y\sim\mathcal{N}(\mu,\eta^2).$$Y−Y^∼iidN(0,γ2),Y∼N(μ,η2).

在该设定下，按预测结果升序对个人排序，并筛查最低的 $\alpha$α 比例是最优的。所得策略价值为

$$V(\pi^*)=\Pr\left(\hat Y\le F_{\hat Y}^{-1}(\alpha)\mid Y\le F_Y^{-1}(\beta)\right) = \frac{\Phi_2\left(\Phi^{-1}(\alpha),\Phi^{-1}(\beta);\rho\right)}{\beta},$$V(π∗)=Pr(Y^≤FY^−1​(α)∣Y≤FY−1​(β))=βΦ2​(Φ−1(α),Φ−1(β);ρ)​,

其中 $\Phi_2$Φ2​ 是双变量标准正态累积分布函数，$\Phi^{-1}$Φ−1 是标准正态分位数函数，且

$$\rho=\frac{\sqrt{\eta^2-\gamma^2}}{\eta}.$$ρ=ηη2−γ2​​.

预测质量由 $R^2=\rho^2$R2=ρ2 概括，即真实结果与预测结果之间相关系数的平方。由于对数保持结果排序，该框架也可通过对结果取对数应用于对数正态结果。相应的筛查策略可以可视化呈现为真实福利为 $Y=y$Y=y 的个人在筛查阈值下被选中的概率，而该曲线下的面积对应策略价值。改变筛查容量与提高预测准确性的效果如图下方所示。

策略价值可以通过两个主要杠杆提升。第一个是扩大触达，将筛查阈值从 $\alpha$α 提高到 $\alpha+\Delta_\alpha$α+Δα​。第二个是改进预测，将 $R^2$R2 提高到 $R^2+\Delta_{R^2}$R2+ΔR2​。如果政策能够筛查所有人，完美触达 $\alpha=1$α=1 将识别整个处境最差群体。完美预测 $R^2=1$R2=1 本身并不能消除资源约束，但可以使可用容量得到最优配置。

为了比较这些杠杆，作者定义了预测-触达率，即 PAR：

$$\mathrm{PAR} = \frac{V(\alpha+\Delta_\alpha,\beta,R^2)-V(\alpha,\beta,R^2)} {V(\alpha,\beta,R^2+\Delta_{R^2})-V(\alpha,\beta,R^2)}.$$PAR=V(α,β,R2+ΔR2​)−V(α,β,R2)V(α+Δα​,β,R2)−V(α,β,R2)​.

该比率衡量扩大筛查容量带来的策略价值边际增益与改进预测准确性带来的边际增益之比。PAR 大于 1 意味着，在所选增量下，增加容量比改进预测带来更大提升。如果考虑成本比率，规划者可以比较经成本调整后的收益，例如评估 PAR 的一个缩放版本。

理论分析识别出每个杠杆最重要的情形。当筛查容量非常小时，$\alpha$α 的小幅扩大可产生策略价值的大幅增加。对于较小的 $\alpha$α 且基线预测信号远离零的情况，PAR 可以迅速增长，使扩大触达成为主要优先事项。局部 PAR 的下界具有如下形式

$$\mathrm{PAR} \gtrsim \frac{\Delta_\alpha}{\Delta_{R^2}} \sqrt{R^2(1-R^2)} \left(5.1\cdot \alpha\Phi^{-1}(1-\alpha)\right)^{-1/(1-R^2)+o(1)},$$PAR≳ΔR2​Δα​​R2(1−R2)​(5.1⋅αΦ−1(1−α))−1/(1−R2)+o(1),

其中 $o(1)$o(1) 随着 $\alpha$α 趋近于零而消失。由于 $\Phi^{-1}(1-\alpha)$Φ−1(1−α) 增长缓慢，而幂项可以放大微小变化，容量约束使触达改进尤为有价值。

预测改进在两种相反的情形中最具影响。当预测准确性非常低时，只要存在一定基线筛查容量，即使 $R^2$R2 的初始小幅提升也能产生较大的一阶增益。当 $R^2$R2 已经非常高时，如果筛查容量 $\alpha$α 接近覆盖整个处境最差群体 $\beta$β 所需的水平，进一步改进也可能变得重要。PAR 在 $(\alpha,R^2)$(α,R2) 空间中的数值模拟说明这两个杠杆的相对价值如何随这些情形变化。左图展示原始 PAR 值，而右图可解释为在指定比率下的经成本调整版本。PAR 超过 1 的区域有利于扩大容量，PAR 低于 1 的区域有利于改进预测。

对于真实世界系统，作者基于相同定义开发了一个实证评估流程。策略价值使用类似召回率的指标进行估计：

$$V(\alpha,\beta) \approx \frac{ \sum_{i=1}^n \mathbf{1}\{\hat Y_i\le F_{\hat Y,n}^{-1}(\alpha)\} \mathbf{1}\{Y_i\le F_{Y,n}^{-1}(\beta)\} } { \sum_{i=1}^n \mathbf{1}\{Y_i\le F_{Y,n}^{-1}(\beta)\} }.$$V(α,β)≈∑i=1n​1{Yi​≤FY,n−1​(β)}∑i=1n​1{Y^i​≤FY^,n−1​(α)}1{Yi​≤FY,n−1​(β)}​.

该量衡量被筛查规则选中的真正处境最差个体比例。扩大容量通过增加 $\alpha$α 并在新阈值下重新计算经验策略价值来评估。该关系也可反向求解一个实际预算问题：给定目标覆盖水平 $p$p，所需容量为

$$\alpha^*=\inf_{\alpha\in(0,1)}\{\alpha:V(\alpha,\beta)\ge p\}.$$α∗=α∈(0,1)inf​{α:V(α,β)≥p}.

改进预测可以通过若干渠道建模。决策者可以收集更多数据、减少缺失值或测量误差、通过整合数据源添加新特征，或采用更强的建模技术。对于增量评估，作者通过缩小模型残差来模拟适度的预测改进：

$$\hat Y_+=\hat Y+\delta(Y-\hat Y), \qquad 0<\delta<1.$$Y^+​=Y^+δ(Y−Y^),0<δ<1.

该转换产生一个略好的模型，但保留现有误差结构，从而允许分析者估计 $R^2$R2 的微小增加如何改变策略价值。其他实现方式可以在不同数据条件下重新训练模型，针对子群调整残差以代表定向数据改进，或比较不同模型架构。最后的实证步骤比较扩大容量与预测改进所产生的边际增益，得到可指导运营投资决策的经验 PAR。

实验

该评估比较增加筛查触达与提高预测准确性所带来的策略价值增益，使用理论界、数值模拟以及德国失业案例研究。这些实验验证了：当筛查稀缺时，扩大容量最有价值；而当准确性非常低或非常高且触达充足时，预测改进相对重要。实验还表明，模型复杂性带来的增益可以转化为所需筛查容量的扩大幅度，说明实践优先级应取决于现有容量和预测基线。