刻板印象是指对某一特定群体的过度概括性信念，例如“亚裔擅长数学”或“亚裔驾驶技术差”。这类信念（即偏见）已被证实会对目标群体造成伤害。由于预训练语言模型是在大规模真实世界数据上进行训练的，因此它们往往也会习得刻板印象偏见。为了评估这些模型所带来的负面影响，准确量化其中所包含的偏见至关重要。现有研究在衡量偏见时，通常仅使用少量人为构造的偏见评估句子对预训练语言模型进行测试。为此，我们提出了 StereoSet——一个大规模、自然语言构建的英文数据集，用于衡量语言模型在性别、职业、种族和宗教四个领域中的刻板印象偏见。我们在该数据集上对 BERT、GPT-2、RoBERTa 和 XLNet 等主流模型进行了评估，结果表明，这些模型均表现出显著的刻板印象偏见。此外，我们还建立了包含隐藏测试集的排行榜，以持续追踪未来语言模型的偏见水平，相关页面可访问：https://stereoset.mit.edu