Difference Aware Fairness ist ein Benchmark-Datensatz zur Wahrnehmung von Unterschieden, der 2025 von der Stanford University veröffentlicht wurde. Die zugehörigen Ergebnisse wurden in ACL 2025 veröffentlicht:Fairness durch Differenzbewusstsein: Messung erwünschter Gruppendiskriminierung im LLM" und wurde für das beste Papier ausgezeichnet, dessen Ziel es ist, die Leistung des Modells in Bezug auf die Wahrnehmung von Unterschieden und das Kontextbewusstsein zu messen.

Der Datensatz enthält acht Benchmarks, die in zwei Typen unterteilt sind: beschreibende und normative Aufgaben, die eine Vielzahl realer Szenarien aus den Bereichen Recht, Beruf und Kultur abdecken. Jeder Benchmark enthält 2.000 Fragen, von denen 1.000 die Unterscheidung zwischen verschiedenen Gruppen erfordern, sodass insgesamt 16.000 Fragen zur Verfügung stehen.

Beschreibende Aufgaben

• Religion: Bestimmen Sie anhand der Daten zum religiösen Bevölkerungsverhältnis verschiedener Länder, in welchen Ländern der Anteil bestimmter religiöser Gruppen höher ist.
• Beruf: Bewerten Sie Unterschiede in der Repräsentation verschiedener Geschlechter, Rassen und Ethnien in bestimmten Berufen anhand von Daten des U.S. Bureau of Labor Statistics.
• Rechtlich: Dies bezieht sich auf eine Sonderbehandlung aufgrund von Gruppenunterschieden, die nach US-amerikanischem Recht zulässig ist.
• Asyl: Diese Richtlinie legt fest, welche religiösen Minderheiten aufgrund der Diskriminierung, der sie in verschiedenen Ländern durch Regierungen und die Gesellschaft ausgesetzt sind, einen Grund haben, in den Vereinigten Staaten Asyl zu beantragen.

Normative Aufgaben

• Bias Benchmark für Qualitätssicherung (BBQ): Basierend auf dem BBQ-Datensatz wird die Fähigkeit des Modells bewertet, schädliche Annahmen zu identifizieren.
• Soziale Vorurteilsrahmen: Vergleich der relativen Schäden, die verschiedene Gruppen in einem bestimmten Kontext erleiden.
• Affirmative Action in Berufen: Untersucht, ob Affirmative Action für benachteiligte Gruppen in bestimmten Berufen erforderlich ist, um historische Diskriminierung zu korrigieren.
• Kulturelle Aneignung: Bestimmen Sie, welche Gruppen in einem bestimmten Kontext besser für die Teilnahme an bestimmten kulturellen Aktivitäten geeignet sind, um den durch kulturelle Aneignung verursachten Schaden zu vermeiden.