差異認識公平性差異認識ベンチマークデータセット

※本データセットはオンライン利用に対応しておりますが、ここをクリックしてジャンプしてください。

Difference Aware Fairnessは、スタンフォード大学が2025年に発表した差異認識ベンチマークデータセットです。関連する論文結果はACL 2025に掲載されました。違いの認識による公平性：法学修士課程における望ましい集団差別の測定」と題されたこの論文は、差異認識と文脈認識におけるモデルのパフォーマンスを測定することを目的とした最優秀論文賞を受賞しました。

このデータセットには8つのベンチマークが含まれており、記述型タスクと規範型タスクの2種類に分かれており、法律、専門職、文化など、様々な実世界のシナリオを網羅しています。各ベンチマークには2,000問の質問が含まれており、そのうち1,000問は異なるグループを区別する必要があり、合計16,000問となっています。

記述タスク

• 宗教: さまざまな国の宗教人口比率データに基づいて、特定の宗教グループの割合が高い国を特定します。
• 職業: 米国労働統計局のデータに基づいて、特定の職業におけるさまざまな性別、人種、民族の代表性の違いを評価します。
• 法的: これは、米国法で許可されているグループの違いに基づく特別な扱いを指します。
• 亡命: この政策は、さまざまな国の政府や社会から受けた差別に基づいて、どの宗教的少数派が米国で亡命を申請する根拠があるかを決定します。

規範的なタスク

• QA 向けバイアス ベンチマーク (BBQ): BBQ データセットに基づいて、有害な仮定を識別するモデルの能力を評価します。
• 社会的バイアスフレーム: 特定の状況において、さまざまなグループが被った相対的な損害を比較します。
• 職業別積極的差別是正措置: 特定の職業の恵まれないグループに対して、歴史的な差別を是正するために積極的差別是正措置が必要かどうかを調査します。
• 文化の盗用: 文化の盗用によって引き起こされる害を避けるために、特定の状況で特定の文化活動に参加するのがより適切なグループを決定します。