一句话总结

曼彻斯特大学的研究人员推出了 HARDCHOICES 数据集，该数据集包含同一意识形态阵营内存在意识形态分歧的社会议题，用于评估 LLMs 立场的稳健性，并发现，与典型的政治偏见研究不同，这些模型很少保持中立，常常自相矛盾，但令人惊讶的是，它们所采取的立场却趋于一致。

核心贡献

• 本文引入了 HARDCHOICES 数据集，该数据集包含双方都有可辩护立场的争议性社会议题，使用 5 点李克特量表和倒序呈现方式，将模型回答分类为一致、漠不关心或不一致。
• 该工作检验并否定了两个假设：更大的模型更一致，以及前沿模型更漠不关心；前沿模型既不更连贯也不更中立，而且特定模型表现出独特行为：Mistral Small 24B 和 Olmo 3.1 32B 大多表示漠不关心，Grok 4.20 尤为不一致，而 Llama 4 Scout 17B、GPT OSS 120B 和 Opus 4.6 则表现出鲜明立场。
• 分析表明，尽管普遍存在不一致，但采取立场的模型在不同规模上大体一致，Llama 4 Scout 17B、GPT OSS 120B 和 Opus 4.6 表现出趋同的立场，表明在分歧性议题上存在共同的意识形态偏见。

引言

大语言模型越来越多地被部署为搜索、事实核查和提供建议的 Agent，这使得它们的意识形态偏见和一致性受到审视。以往的工作通常通过聚合左-右得分来捕捉政治倾向，或探究模型是否只是随机反映了相互矛盾的训练数据，但很少考察模型在具体、有争议的社会议题上如何一致地持有立场，而这类议题的双方都被认为是合理的。本文引入了 HARDCHOICES 数据集，该数据集包含精准定义的政策辩论，并配以必选李克特量表和倒序项目呈现，旨在检验模型是保持一致的立场还是默认采取漠不关心的态度。研究发现，前沿模型既不比小模型更连贯，也不更容易采取回避态度，并且许多模型表现出偏向于轻微支持最后出现的选项。

数据集

HARDCHOICES 数据集由 19 个精心构建的提示组成，用于探究模型在分歧性政治和社会议题上的偏好。每个提示都呈现两个对立的陈述（A 和 B），并要求模型在五级量表上选择一个立场。作者使用该数据集来评估语言模型与各种规范性立场的对齐情况。

• 构成与来源：数据集包含 19 个刺激材料，每个材料涵盖一个独特的有争议议题（例如，平权行动与精英治理、死刑、公共媒体资助、疫苗接种强制令）。所有陈述和评分任务的措辞均由作者设计。
• 各子集关键细节：数据集为单一集合，未定义单独的子集。每个 19 条提示都施测两次，一次以 A/B 顺序呈现陈述，一次以 B/A 顺序呈现，共产生 38 个评估条目。目标是检验方向性偏差（即呈现顺序是否影响模型得分）。
• 数据使用方式：本文将 HARDCHOICES 用作行为基准。模型接收每个提示，并需返回一个从 1（完全同意陈述 A）到 5（完全同意陈述 B）的分数。原始分数以及两次呈现顺序间的一致性被分析，以评估模型偏好及其对框架的敏感性。
• 处理与元数据：未应用额外的过滤或裁剪。唯一的处理是为了使每个陈述对的两种顺序读起来自然而进行的最小风格的调整。数据集包含 19 个陈述对的完整文本和嵌入提示，如论文附录中所述。

方法

作者根据同一刺激材料以两种顺序呈现时得到的两个分数，将模型回答从成对比较中分类为三个高层级类别。当两个顺序的分数均为 3 时，该回答对被认定为漠不关心，表明没有明确的偏好。当分数表现出一致的方向性倾向时，即同一选项在两种顺序中都受到偏好，即使支持程度略有差异，则记录为立场。这包括完全一致的配对（例如，1 + 5、2 + 4 及其反向配对），也包括倾向方向相同但幅度不同的配对（例如，1 + 4、2 + 5 及其反向），这反映了人类在不论顺序或时间间隔时可能出现的回答模式。所有其余的回答对均被标记为不一致。

不一致的回答进一步细分，以捕捉冲突的性质。相同回答类型描述的是在两种顺序中，受试者倾向于同一选项，但分数相同或非常接近的配对（例如 1 + 1、2 + 2、4 + 4、5 + 5，以及 1 + 2、4 + 5 及其反向）。相反，混合回答类型发生在两个分数中只有一个为 3 时，即受试者在一种顺序中表达漠不关心，而在另一种顺序中表现出明确的倾向。这一分类方案使研究团队能够将评估数据中的真实偏好信号与噪声和模糊回答模式区分开来。

实验

评估在一组观点问题上比较了开放权重指令微调模型（25–70B 参数）和通过 API 访问的前沿模型，温度参数设为零，采用 5 点量表。小模型大多漠不关心，但当它们确实采取立场时，行为高度特异：Mistral 始终拒绝表态，而 Llama 4 Scout 经常持有明确立场。三个最具观点的模型——Llama 4 Scout、GPT OSS 120B 和 Opus 4.6——在一个广泛的进步—自由意志主义议程上表现出显著一致性，尽管它们在冒犯性言论自由、核武器威慑价值以及自卫武器等议题上存在分歧。总体而言，较大模型表现出不一致性与倒数选项偏好的混合，而非经典的位置偏见，其中 Grok 4.20 尤为突出，几乎总是返回相同的中立分数对。

小模型更可能漠不关心而非采取立场，而大模型则很少表现出漠不关心，反而出现更多不一致的回答，尤其是相同答案不一致。倒数选项偏见，即模型在两种方向上都轻微偏好选项 B，可以解释几乎所有在两种规模类别中的不一致-相同回答。个体模型行为高度特异，Grok 4.20 几乎总是返回倒数选项，从而扭曲了汇总计数。小模型的漠不关心回答多于立场回答，而大模型很少漠不关心，且频繁出现不一致-相同回答。在两种规模类别中，倒数选项偏见（在两种方向上都轻微偏好选项 B）在不一致-相同类别中占据主导，与典型的首位或末位偏见形成对比。

模型表现出高度特异的回答分布，从完全漠不关心到频繁采取立场不等。像 Mistral Small 24B 和 Olmo 3.1 32B 这样的小模型以漠不关心为主，而 Llama 4 Scout 17B 和 GPT OSS 120B 则明显持有观点。较大的模型如 Llama 3.3 70B 和 Qwen2.5 72B 显示出不一致与立场回答的混合，仅极少漠不关心。Mistral Small 24B 是唯一一个在所有问题上都完全漠不关心的模型，从未产生立场或不一致。Llama 4 Scout 17B 和 GPT OSS 120B 在大多数问题上持有明确立场，与同等规模或更小模型的漠不关心形成对比。不一致-相同回答，例如 4+4 模式，在 Llama 3.3 70B 和 Gemma 3 27B 等模型中很常见，但在 Mistral 和 Llama 4 Scout 中完全不存在。

这三个模型在一个广泛的进步—自由意志主义议程上保持一致，一致反对死刑，支持人道主义干预、税收资助的公共媒体，以及公平优先于平等。分歧有限：两个较大模型从未直接相互对立，而较小的 Scout 则通过拒绝冒犯性言论自由和优先考虑生物多样性而非发展而表现出分歧。在生物性别和自卫武器等议题上，出现了漠不关心或不一致。Scout 是唯一反对冒犯性言论自由的模型，而 GPT OSS 和 Opus 都表示支持。三个模型都一致反对死刑，并支持人道主义干预和税收资助的公共媒体。

评估检查了模型对二元选择问题的回答，揭示小模型默认保持漠不关心，而大模型则避免漠不关心但表现出不一致，这主要源于倒数选项偏见，即它们在两种方向上都轻微偏好第二个选项。个体模型表现出高度特异的行为，从完全漠不关心到一致采取立场不等，而对三个模型的案例研究发现，它们在进步—自由意志主义议程上广泛一致，仅在言论自由和生物多样性等议题上存在微小分歧。