一句话总结

华盛顿大学、上海纽约大学和纽约大学提出了 ValueActionLens，该框架建立在覆盖 12 种文化和 11 个社会议题的 14.8k 行动数据集之上，揭示了大语言模型所陈述价值与价值导向行动之间的显著错位，并表明仅依赖所陈述价值预测行为存在风险。

核心贡献

• 该工作提出了 ValueActionLens，这是一个情境感知框架，通过覆盖 132 个场景、两项评估任务和三项对齐指标的价值导向行动生成，来衡量大语言模型中的价值行动差距。

• 该工作发布了 VIA 数据集，其中包含覆盖 12 种文化和 11 个社会议题的 14,784 条价值导向行动示例，以支持对所陈述价值与价值导向行动进行比较。

• 实验表明，不同模型、不同文化和不同社会情境中，生成的价值陈述与行动之间存在显著错位，这凸显了对价值行动对齐进行情境敏感评估的必要性。

引言

随着大语言模型越来越多地影响社会决策，确保其价值和行为与人类期望保持一致，对负责任部署至关重要。既有研究主要通过一致性或李克特式回答来评估所陈述价值，但经常忽略模型在现实场景中的行为，也缺乏可用于系统研究的情境感知框架和数据集。作者借鉴心理学中的价值行动差距概念，提出 ValueActionLens，该框架在 132 个场景、12 种文化和 11 个社会议题中比较 LLM 的价值陈述与价值导向行动。作者还发布了包含 14,784 条价值导向行动的 VIA 数据集以及三项对齐指标，揭示了 LLM 所说与所做之间显著的情境依赖差距。

数据集

• 作者构建了 Value-Informed Actions 数据集，以评估语言模型能否在具有文化根基的情境中产生与特定人类价值一致的行动和解释。

• 数据集由 132 个场景构建，这些场景由 12 个国家与 11 个社会主题组合而成。国家覆盖北美、欧洲、澳大利亚、亚洲和非洲等区域的主要英语使用群体，而主题来自社会调查项目，包括社会不平等、家庭、工作和宗教等领域。

• 价值维度采用 Schwartz 基本价值理论中的 56 项价值。每项价值在同意和不同意两种立场下测试，形成 112 个价值立场组合。

• 将 132 个场景与 112 个价值立场组合结合，得到 14,784 条情境化价值导向行动。

• 每条条目包含生成的行动和关联解释，并设有以下字段：人类行动、价值相关文本跨度的归因，以及对行动背后推理过程的自然语言解释。

• 作者使用人在回路的生成过程。他们先为每项价值和场景创建 8 个提示变体，然后通过每个提示采样 80 条行动生成包含 640 个实例的试点集。两位 AI 专家进行两轮标注，以选择最佳提示，并通过讨论解决分歧。

• 数据质量通过行动正确性、行动无害性、归因充分性和解释合理性等指标进行评估。提示选择在评估者间信度上达到显著水平，Cohen’s Kappa 为 0.7073。

• 最终数据集进一步通过跨文化人工评估检查。27 位具有相关文化背景的标注者评估随机抽取的 90 条行动和解释，每条由三位标注者审查，并通过多数投票确定最终判断。

• 文中没有描述裁剪策略。主要处理细节是可控生成与标注流程，用于确保场景、价值、行动和解释保持一致且具有文化情境性。

方法

作者采用 ValueActionLens，这是一个用于衡量大语言模型提出的价值陈述是否体现在其现实情境行动选择中的框架。它将价值和行动视为情境现象，因此框架设计连接场景构建、基于提示的评估任务和量化对齐评分。请参考框架图。

在流程顶部，作者通过组合国家情境和社会主题构建场景，然后将每个场景与一组结构化的普遍人类价值配对。每项价值分别在同意和不同意立场下表示，形成需要定义一致行为和相反行为的价值情境对。生成的数据层包含价值导向行动、标识行动归因的文本跨度，以及解释行动为何表达目标价值的自然语言说明。

这些数据的生成并非依靠单一自动提示，而是使用人在回路的工作流，以改善提示鲁棒性、解释质量和跨文化可靠性。如下图所示：

第 1 步为每项价值和场景创建多个零样本提示变体。鲁棒性通过改写提示文本、调整提示组件顺序并改变响应要求获得。第 2 步由 AI 专家检查由这些变体生成的一个子集，并按照正确性、无害性、充分性和合理性选择最有效的提示。第 3 步使用所选提示生成完整的价值导向行动集，然后要求来自多元文化背景的标注者审查抽样的行动、解释和归因，并使用多数投票确定质量判断。

在建立这一数据基础后，评估协议将价值声明与价值导向行为分离。任务 1 要求模型在给定场景中陈述其对目标价值的倾向。提示由情境、选项和要求构成，每个组件有两个变体，因此每个场景得到 8 个提示变体。情境可以是调查风格或画像风格，而响应选项采用李克特量表。对提示变体的回答进行平均，以得到稳定的所陈述价值得分。

任务 2 要求模型在同一场景和同一价值下，在两个候选行动之间选择，其中一个对应同意立场，另一个对应不同意立场。选项顺序被随机打乱，以减少选择偏差，并使用相同的提示变体结构获得行动选择响应。任务 1 和任务 2 的输出被组织为所陈述价值矩阵 $V$V 和行动响应矩阵 $A$A。对于场景 $i$i 和价值 $k$k，在考虑 $K=56$K=56 项价值的情况下，该方法使用归一化响应分数 $v_{ik}$vik​ 和 $a_{ik}$aik​。

对齐度量随后从三个角度比较 $V$V 和 $A$A。对齐率将归一化响应转换为二进制形式，并在所陈述立场和所选行动上计算 F1 分数。对齐距离通过计算逐元素 $L_1$L1​ 距离来保留分级不一致：

$$D_{ik}=|v_{ik}-a_{ik}|,$$Dik​=∣vik​−aik​∣,

它也可以在某个国家或主题组 $C$C 上平均，计算方式为：

$$D_{Ck}=\frac{1}{|C|}\sum_{i\in C}|v_{ik}-a_{ik}|.$$DCk​=∣C∣1​i∈C∑​∣vik​−aik​∣.

最后，框架按距离降序排列每个场景内的价值，识别出最大的价值行动差距，以用于进一步分析。

实验

该研究通过比较最先进大语言模型在不同价值、国家和社交主题下所陈述价值与价值导向行动，并使用多个提示和对齐度量，来评估价值行动对齐。实验显示，对齐程度不均衡，在某些地区和主题上更低，并且在独立性和选择个人目标等特定价值上更大，而不对齐价值会随文化情境变化。对不对齐案例的定性分析进一步将这些差距与潜在的个体、交互和社会风险联系起来，表明在基准测试上的强大表现并不能保证一致的价值导向行为。

表格描述了一个由来自许多国家和社会议题的文化多样场景构建的价值导向行动数据集。它覆盖广泛的价值集合，并在同意和不同意两种立场下评估每项价值，生成成千上万条带有高亮证据和解释的行动。该结构支持分析模型行动是否在不同社会情境中与所陈述价值一致。数据集覆盖广泛的国家和社会议题。每项价值在同意和不同意两种倾向下均被考察。生成的行动包括高亮证据和自然语言解释。

对生成的价值导向行动、归因和解释的人工评估显示，专家和标注者的判断总体积极。在正确性、无害性、充分性和合理性方面，专家评分始终高于标注者评分，其中合理性获得了专家最强的认可。标注者仍认为输出大多正确且充分，但给出的无害性评分较低，这表明更广泛的评估者对潜在有害内容更加谨慎。专家认为生成的行动、归因和解释高度合理。标注者对相同输出给出中等偏高的正确性和充分性评分。与专家判断相比，标注者对无害性给出最低相对评分。

价值行动对齐率总体中等偏低，并因模型、国家和社交主题而异。一个模型取得最强的总体对齐，而另一个模型表现明显较差，并且一些模型在非洲和亚洲的对齐程度弱于北美和欧洲。大语言模型并不能在不同场景中一致地将所陈述价值转化为对齐行动。模型选择强烈影响对齐质量，一个模型领先，另一个模型明显落后。

模型比较总结了跨任务不一致性，即模型回答在两种任务框架之间于 Agree 和 Disagree 之间发生转换。多数被评估大语言模型的总体不对齐率处于 10% 多到约 15% 的范围内，而 GPT-3.5-turbo 的占比最大，并明显偏向原先为 Agree 的回答转为 Disagree。不同模型之间的分布也不同，表明不一致性取决于模型，并非均匀。所有被评估模型都表现出跨任务不一致，总体占比从 10% 多到约五分之一不等。GPT-3.5-turbo 具有最高的总体不对齐率，并强烈偏向 (D,A) 方向。Claude-Sonnet-4、Llama-3.3-70B 和 GPT-4o 等模型在 (A,D) 方向的不一致性更高，表现出特定于模型的偏差模式。

该分析将来自六个语言模型的不对齐价值行动示例组织为风险类别，以说明真实世界使用中可能造成的伤害。在所提供统计中，个体层面风险最为显著，其中歧视和自主权侵犯尤为突出；交互层面风险包括过度自信、用户操纵和误导性解释。在所提供计数中，歧视是最常见的个体层面风险。当模型行动超出所陈述价值时，自主权侵犯成为显著风险。交互层面风险包括过度自信、用户操纵和误导性解释。即使模型表达社会适宜价值，价值行动差距仍可能造成实际伤害。

一个文化多样的价值导向行动数据集评估语言模型是否能在许多国家和社会议题下，在同意和不同意立场中将所陈述价值转化为恰当行动。人工评估表明，生成的行动、归因和解释总体合理、正确且充分，不过非专家标注者比专家对无害性更谨慎。模型比较显示，价值行动对齐在不同模型、地区和任务框架之间不一致，不对齐案例指向歧视、自主权侵犯、过度自信和用户操纵等实际风险。