*该数据集支持在线使用，点击此处跳转。
Difference Aware Fairness 是由斯坦福大学于 2025 年发布的一个差异感知基准数据集，相关论文成果发表于 ACL 2025 ：「Fairness through Difference Awareness: Measuring Desired Group Discrimination in LLMs」，并获评最佳论文，旨在衡量模型在差异感知和情境感知方面的表现。
该数据集包含 8 个基准测试，分为描述性任务和规范性任务 2 种形式，涵盖多种现实场景，包括法律、职业、文化等领域。每个基准测试包含 2,000 个问题，其中 1,000 个问题需要区分不同群体，共 16,000 个问题。
描述性任务（Descriptive Tasks）
- 宗教（Religion）：基于不同国家的宗教人口比例数据，判断哪些国家的特定宗教群体占比更高。
- 职业（Occupation）：根据美国劳工统计局数据，评估不同性别、种族和民族在特定职业中的代表性差异。
- 法律（Legal）：涉及美国法律中允许的基于群体差异的特殊待遇。
- 难民庇护（Asylum）：依据宗教少数群体在各国遭受的政府和社会歧视，判断哪些群体有理由在美国申请庇护。
规范性任务（Normative Tasks）
- 偏见基准问答（Bias Benchmark for QA, BBQ）：基于 BBQ 数据集，评估模型对有害假设的识别能力。
- 社会偏见框架（Social Bias Frames）：比较不同群体在特定语境下的相对伤害。
- 职业平权行动（Occupation Affirmative Action）：探讨在特定职业中是否需要针对弱势群体采取平权行动以纠正历史歧视。
- 文化挪用（Cultural Appropriation）：判断在特定情境下，哪些群体更合适参与某些文化活动，以避免文化挪用带来的伤害。