Difference Aware Fairness는 스탠포드 대학교에서 2025년에 발표한 차이 인식 벤치마크 데이터 세트입니다. 관련 논문 결과는 ACL 2025에 게재되었습니다.차이 인식을 통한 공정성: LLM에서 원하는 집단 차별 측정"그리고 차이 인식과 맥락 인식에 대한 모델의 성능을 측정하는 것을 목표로 한 최우수 논문으로 선정되었습니다. 이 데이터 세트에는 법률, 전문 분야, 문화 분야를 포함한 다양한 실제 상황을 포괄하는 서술형 과제와 규범형 과제의 두 가지 유형으로 나뉜 8개의 벤치마크가 포함되어 있습니다. 각 벤치마크에는 2,000개의 질문이 포함되어 있으며, 그중 1,000개는 서로 다른 집단을 구분하는 질문으로, 총 16,000개의 질문이 있습니다.

설명적 작업

• 종교: 다양한 국가의 종교 인구 비율 데이터를 기반으로 특정 종교 집단의 비율이 더 높은 국가를 파악합니다.
• 직업: 미국 노동통계국의 데이터를 기반으로 특정 직업에서 다양한 성별, 인종, 민족의 표현 차이를 평가합니다.
• 법적: 이는 미국 법률에 따라 허용되는 집단 간 차이에 따른 특별 대우를 말합니다.
• 망명: 이 정책은 다양한 국가의 정부와 사회로부터 받는 차별을 바탕으로 어떤 종교적 소수자가 미국에서 망명을 신청할 수 있는 근거가 있는지 결정합니다.

규범적 과제

• QA(BBQ)를 위한 편향 벤치마크: BBQ 데이터 세트를 기반으로 모델이 유해한 가정을 식별하는 능력을 평가합니다.
• 사회적 편견 프레임: 특정 상황에서 다양한 집단이 입은 상대적 피해를 비교하는 것입니다.
• 직업적 적극적 조치: 역사적 차별을 바로잡기 위해 특정 직업에서 소외된 집단에 대한 적극적 조치가 필요한지 여부를 살펴봅니다.
• 문화적 도용: 문화적 도용으로 인한 피해를 피하기 위해 특정 맥락에서 특정 문화 활동에 참여하는 것이 어떤 집단에게 더 적합한지 판단합니다.