Ensemble De Données De Référence Sur La Perception Des Différences En Matière D'équité Et De Conscience Des Différences

*Cet ensemble de données prend en charge l'utilisation en ligne.Cliquez ici pour sauter.

Difference Aware Fairness est un ensemble de données de référence sur la perception des différences publié par l'Université de Stanford en 2025. Les résultats de l'étude correspondante ont été publiés dans ACL 2025 :L'équité par la prise de conscience des différences : mesurer la discrimination du groupe souhaité dans les LLM" et a reçu le prix du meilleur article, qui vise à mesurer la performance du modèle dans la perception des différences et la connaissance du contexte.

L'ensemble de données contient huit tests de référence, divisés en deux types : tâches descriptives et normatives, couvrant divers scénarios réels, notamment dans les domaines juridique, professionnel et culturel. Chaque test de référence comporte 2 000 questions, dont 1 000 nécessitent de distinguer différents groupes, pour un total de 16 000 questions.

Tâches descriptives

• Religion : En vous basant sur les données relatives au ratio de population religieuse de différents pays, déterminez quels pays ont une proportion plus élevée de groupes religieux spécifiques.
• Profession : Évaluer les différences de représentation des différents sexes, races et ethnies dans des professions spécifiques, sur la base des données du Bureau of Labor Statistics des États-Unis.
• Juridique : Il s’agit d’un traitement spécial basé sur les différences de groupe autorisées par la loi américaine.
• Asile : Cette politique détermine quelles minorités religieuses ont des motifs de demander l’asile aux États-Unis en fonction de la discrimination à laquelle elles sont confrontées de la part des gouvernements et de la société dans divers pays.

Tâches normatives

• Biais Benchmark pour l'assurance qualité (BBQ) : basé sur l'ensemble de données BBQ, il évalue la capacité du modèle à identifier les hypothèses nuisibles.
• Cadres de préjugés sociaux : comparer les préjudices relatifs subis par différents groupes dans un contexte spécifique.
• Action positive en matière d’occupation : examine si une action positive est nécessaire pour les groupes défavorisés dans des professions spécifiques afin de corriger la discrimination historique.
• Appropriation culturelle : Déterminer quels groupes sont les plus aptes à participer à certaines activités culturelles dans un contexte spécifique afin d’éviter les dommages causés par l’appropriation culturelle.