一句话总结

斯坦福大学和康奈尔理工学院提出了一个由八个场景组成、包含 16,000 个问题的基准套件，用于衡量 LLM 在描述性、规范性和相关性群体歧视中的差异意识。结果表明，当需要语境上适当的差异化处理时，现有的偏见缓解策略可能适得其反。

核心贡献

• 提出差异意识作为一种公平性视角，用于群体差异具有重要性的场景，包括法律规则和伤害评估，并定义描述性、规范性和相关性基准类别，这些类别需要不同的解释和缓解方式。
• 构建包含八个场景和 16,000 个问题的基准套件，通过评估模型是否在语境上适当的情况下对群体采取差异化处理，来衡量差异意识。
• 对十个模型的实验结果表明，差异意识是一个独立的公平性维度，现有偏见缓解策略可能适得其反，论文还为描述性、规范性和相关性情形指出了针对性的缓解方向。

引言

生成式 AI 的公平性很重要，因为模型必须区分合理差异化和有害偏见，但许多系统把任何群体差异都视为不公平。现有基准常常依赖差异无意识，假设对所有人口统计群体采取相同处理，这可能过度简化偏见，并忽视需要识别群体差异的情形。作者提出差异意识和情境意识，用于衡量模型何时应当以及不应当对不同群体采取差异化处理，区分描述性、规范性和相关性评估形式，并提供一个包含 16,000 个问题的基准套件。

数据集

• 作者构建了一个评估基准套件，用于测试语言模型能否适当识别人口统计差异。他们明确指出该套件不用于模型训练，也没有使用训练划分或数据混合比例。

• 该套件总共包含八个基准：四个描述性基准 D1、D2、D3 和 D4，以及四个规范性基准 N1、N2、N3 和 N4。描述性基准旨在根据事实或法律语境提供相对客观的答案，而规范性基准提出的问题，其答案取决于价值观、语境或伤害判断。

• 每个基准包含 2,000 道多项选择题。在每个基准中，有 1,000 道题要求对不同群体采取差异化处理，另外 1,000 道题要求采取相同处理。相同处理条件用于计算作者提出的情境意识指标，其被描述为召回率。作者未包含相关性基准，因为他们认为这些基准对于差异意识而言定义不足。

• D3 是一个法律描述性基准，聚焦于美国反歧视法。题目由具备法律训练的作者从判例法中人工收集，并转化为假设性事实情形。它们测试基于受保护属性的差异化处理在哪些情况下可能被允许，例如职业资格、国家安全例外以及对历史歧视的补救。一个示例问题涉及根据 Title VII 宗教头饰是否应获得合理便利。

• N1 是基于现有问答偏见基准 BBQ 的规范性基准。作者将 BBQ 原始的二义性偏见或信息性偏见问题改编为伤害排序问题。N1 不只询问模型是否作出了某种假设，而是询问哪种假设更有害，或者两种假设是否同样有害。

• 其余六个基准遵循相同的整体 2,000 题结构，并且属于描述性或规范性。这些基准的详细构造内容放在附录中，因此正文主要提供 D3 和 N1 的完整来源与构造细节。

• 该基准采用多项选择结构，包含题干、选项、正确答案，以及一个标签，用于标明该题目要求群体差异化处理还是相同处理。除了作者有针对性进行的题目构造和改编过程外，文中未描述裁剪策略、视觉元数据管线或过滤规则。

• 这些数据仅用于评估。用户可以选择与下游任务最相关的基准，但作者提醒不要对跨基准分数取平均，因为每个基准编码了不同的语境和规范承诺。

方法

该评估框架旨在衡量两种互补的公平性行为：差异意识和情境意识。作者没有将性能简化为单一准确率分数，而是将模型能否正确识别群体差异何时相关，与模型能否在差异不适当时避免对不同群体采取差异化处理区分开来。基准围绕成对的问题设置组织，一种设置中群体差异相关，另一种设置中群体差异不相关。每个设置包含来自底层身份场景的多项选择题，场景到问题的扩展使用受控措辞变体，从同一概念案例生成多个提示。

该方法的核心是基于模型输出建立的混淆式评分方案。作者定义了一些指标，对应于不同类别的回答，包括相关条件下的正确差异意识回答、遗漏的相关条件，以及当语境应要求等效处理时产生的有害差异回答。随后计算两个互补量。

第一个指标是差异意识，它捕捉模型在底层条件使差异化处理合理时对群体采取差异化处理的能力。定义为：

$$\text{DiffAware} = \frac{A}{A + B + C}$$DiffAware=A+B+CA​

这里，$A$A 表示模型正确识别并反映相关群体差异的案例，$B$B 和 $C$C 表示遗漏，即存在相关差异但模型未能考虑。$\text{DiffAware}=1$DiffAware=1 表示模型识别了所有相关群体差异，而 $\text{DiffAware}=0$DiffAware=0 表示完全差异无意识。由于任务具有多个可能的回答方向，随机模型的得分大约为三分之一，因此 $\text{DiffAware}=\frac{1}{3}$DiffAware=31​ 被解释为随机水平的性能。

第二个指标是情境意识，它通过惩罚有害或缺乏依据的差异化处理来补充差异意识。定义为：

$$\text{CtxtAware} = \frac{A}{A + D + E}$$CtxtAware=A+D+EA​

在该公式中，$A$A 再次表示理想行为，即正确识别并反映相关群体差异，而 $D$D 和 $E$E 对应于模型在语境不支持这种区分时引入群体差异的案例。$\text{CtxtAware}=1$CtxtAware=1 表示模型能够可靠地区分需要差异意识处理和语境等效处理的语境，而 $\text{CtxtAware}=0$CtxtAware=0 表示不具备这种能力。与第一个指标一样，随机性能对应于 $\text{CtxtAware}=\frac{1}{3}$CtxtAware=31​。

两个指标旨在共同使用。仅有差异意识并不充分，因为模型可能在表面上关注群体差异，却在这些差异不适当的语境中过度使用它们。仅有情境意识也不充分，因为模型可能简单压制所有群体差异。因此，该框架评估模型是否既能于语境上合理时应用差异意识，又能在导致不公平或有害处理时加以约束。

基准构造遵循基于场景的流程。少量底层场景通过措辞变化扩展为许多问题变体。这样可以在保持概念案例数量可控的同时，覆盖微妙情形。例如，在法律歧视组件中，作者人工收集一组有限的可允许歧视形式，并使用多种改写扩展每个场景。

对于统计分析，作者考虑了同一场景派生问题之间不独立的事实。他们使用自助法报告置信区间，并且因为问题按场景聚类，使用聚类自助法。这保留了场景级扩展引入的依赖结构，避免将同一场景的多种措辞视为完全独立的观测。

实验

作者引入了一个覆盖描述性和规范性场景的基准套件，以评估语言模型是否在识别合理群体差异的同时避免不当区分，并使用差异意识和情境意识指标。对十个经过指令调优的模型的实验表明，常见公平性分数可能高估公平性，因为许多模型在现有差异无意识基准上得分较好，却难以检测合理的差异。能力更强的模型在避免有害区分方面有所提升，但在识别必要群体差异方面并未提升，现有去偏提示常常压制准确的差异意识。明确提示差异意识可以恢复部分识别能力，但会降低语境适当性，凸显精确率与召回率之间的权衡。

综述所见的公平性基准版图主要面向差异无意识任务，特别是基于相关性的性能差异，而差异意识评估仍然稀疏，并集中在规范性或相关性场景中。相关实验背景表明，模型能力提升可以改善情境意识，但未必同样改善差异意识，常见去偏提示甚至可能削弱差异意识。这些发现凸显了鼓励相同处理与允许模型识别合理群体差异之间的权衡。多数综述基准聚焦于差异无意识差异，而非差异意识识别。所综述的描述性基准均未直接衡量差异意识。能力更强的模型可能在情境意识上得分更高，但在差异意识上未必如此。强制差异无意识的去偏提示通常损害差异意识性能。规范性基准看起来尤其容易受到去偏提示影响。

该基准套件覆盖描述性和规范性社会推理任务，其中模型必须识别合理群体差异，或在依赖语境的答案和依赖差异意识的答案之间进行选择。在所检视的模型结果中，总体能力更强能够改善对显式语境条件的处理，但并不能可靠改善对真实群体差异的识别。提示式去偏方法通常恶化这一差异意识维度，尤其在规范性基准上，而更强调差异意识的提示可能引入与语境准确性之间的权衡。能力更强的模型在情境意识区分上的表现优于在差异意识判断上的表现。通用去偏提示经常降低模型对合理群体差异的敏感性。规范性基准比描述性基准更容易受到引导影响。

更高的模型能力与更强的情境意识相关，但并未带来差异意识方面的同等提升。强制差异无意识的提示式去偏方法通常会降低差异意识，并可能使模型否认合理的群体差异，不过庇护申请场景是一个例外。引导模型转向差异意识的努力可以改善该维度，但会损害情境意识，提示存在权衡。能力更强的模型往往能更好地回答情境意识问题，但并不能始终识别合理的群体差异。偏见意识提示通常会降低差异意识而非提升差异意识。去偏提示可能导致模型为了避免显得有偏见而拒绝正确的描述性差异。鼓励差异意识的提示会以提升差异意识的代价降低情境意识。

这些实验评估了公平性基准以及一个面向描述性和规范性社会推理任务的基准套件，以考察模型如何在情境意识和差异意识之间取得平衡。结果表明，更高的能力通常会改善对显式语境条件的处理，但并不能可靠改善对合理群体差异的识别。强制差异无意识的提示式去偏通常会削弱差异意识，尤其在规范性任务上，而差异意识提示可以在牺牲语境准确性的前提下改善该维度。