一句话总结

华盛顿大学、CMU、Allen Institute for AI 等机构推出 INFINITY-CHAT，这是一个包含 26K 条开放式提示查询的数据集，具有六个类别的分类体系，揭示了“人工智能蜂群思维”效应：语言模型表现出显著的模型内重复和模型间同质性，这对长期 AI 安全构成风险。

核心贡献

• INFINITY-CHAT 引入了一个包含 26K 条真实世界开放式用户查询的数据集，并为许多答案都可能合理、缺少单一标准答案的提示构建了一个拥有 6 个顶层类别和 17 个子类别的分类体系。

• INFINITY-CHAT 支持对语言模型中模式坍缩的大规模研究，识别出一种以开放式生成中的模型内重复和模型间同质性为特征的“人工智能蜂群思维”效应。

• 该资源提供 31,250 条人类标注，覆盖绝对评分和成对偏好，并且每个示例有 25 条独立标注；结果显示，最先进语言模型、奖励模型和语言模型评审即便在总体质量可比的情况下，仍对个体化人类偏好的校准较差。

引言

大语言模型是现代 AI 助手的核心，但在许多答案都可能合理的开放式交互中，它们往往缺乏所需多样性。这很重要，因为重复输出相似内容会收窄人类表达，并削弱多元化对齐。早期工作主要用风格化或狭窄任务衡量多样性，并且缺少由自然出现的用户请求构建的可扩展基准，而这些基准能揭示多元化偏好。作者提出 INFINITY-CHAT，这是一个从 WildChat 中挖掘出的 26K 条真实世界开放式查询数据集，并配套一个包含 6 个顶层类别和 17 个子类别的分类体系。利用该数据集，作者展示了许多开放与闭源语言模型中的“人工智能蜂群思维”效应：同一模型会重复自身，不同模型尽管措辞略有差异，仍会收敛到相似想法。作者还收集了 31,250 条回复评估的密集人类标注，发现当回复引发不同但质量相当的人类偏好时，语言模型、奖励模型和基于语言模型的评审经常校准不足。综合来看，该工作为评估、诊断和缓解现代语言模型中的模式坍缩和多元化错配提供了基准与框架。

数据集

• 作者使用 WildChat 中真实世界的单轮 GPT-4 用户输入构建 INFINITY-CHAT。起始池包含 37,426 条高质量英文查询，这些查询非毒性且长度为 15 至 200 个字符。

• GPT-4o 对每条查询进行过滤和分类，判断其是否寻求有意义的信息、是否是问候或模型询问，以及是否只允许一个有效回复或多个有效回复。模糊查询会被修订以提高清晰度。

• 最终 INFINITY-CHAT 查询集包含 26,070 条开放式查询和 8,817 条封闭式查询。论文将其用作真实世界提示，以研究多样且多元的语言模型回复。

• 作者为开放式查询创建分类体系。作者从约 100 条挖掘出的查询开始，手动分配初步标签，并将其细化为 6 个高层类别和 17 个细粒度子类别。

• 随后 GPT-4o 为完整开放式查询集打标，为每条查询分配一个或多个已有类别，并检测超出种子集的新类别。由此产生 314 个新类别。

• 类别分布包括创意内容生成 58.0%、替代写作体裁 38.5%、概念解释 23.6%、技能发展 23.5%、分析与解释性问题 22.6%、假设情境 22.2%，以及头脑风暴与构思 15.2%。

• 在提供的文本中，论文没有描述 INFINITY-CHAT 的标准训练划分、验证划分或数据混合比例。该数据集主要作为提示和标注资源，用于评估回复多样性和人类偏好分布。

• 对于密集人类偏好标注，作者使用 INFINITY-CHAT100，并从中抽取 50 个提示。对于每个提示，作者收集 15 条替代回复，并为每条回复收集 25 个从 1 到 5 的绝对质量评分。

• 绝对评分子集包含 25 × 15 × 50 = 18,750 个查询与回复标签。这些标签用于分析人类对回复质量判断中的变化。

• 对于成对偏好标注，作者每个提示抽取 10 个回复对，并为每个回复对收集 25 条标注。这些标注记录同一查询下两个回复之间的强偏好或弱偏好。

• 成对子集包含 25 × 10 × 50 = 12,500 个查询与回复对标签。这些密集偏好标签支持分析人类判断中的分歧和熵。

• 数据集元数据包括查询文本、查询类别、候选回复、绝对质量分数和成对偏好分布。未描述裁剪策略，因为数据由文本查询和带标注的回复偏好组成，而不是图像裁剪。

方法

作者采用以数据为中心的流程，构建查询清单和能够捕捉开放式提示多样性的偏好标注流程。第一个组件来自真实场景的用户与聊天机器人日志，并采用保守质量过滤，保留可用长度的英文、非毒性、单轮交互。随后，大语言模型筛查每条提示是否在寻求有意义的信息，以及该请求是否允许一个有效答案或多个有效答案。模糊提示在进入最终池之前会被改写以提高清晰度。

该方法随后通过半自动循环构建开放式查询分类体系。一小批挖掘出的种子查询由人类给出初步标签，这些标签被反复合并、拆分和分组，形成层级结构。当种子分类体系稳定后，作者使用 GPT-4o 扩展标注，由其为每条用户查询分配一个或多个类别，并标记原始标签未覆盖的新类型。最终分类体系组织多样化请求风格，从创意生成和头脑风暴到概念解释和分析性问题。参考下方框架图：

图中展示六个高层分组、十七个子类别，以及每种查询类型的相对频率。除固定分类体系外，标注阶段还识别出额外反复出现的主题。这些新类别通过词云概括，词云突出文化、伦理、历史、媒体和幽默等相关维度。所发现的维度可视化如下：

对于偏好分析，作者设计密集标注流程，而非依赖稀疏标签。作者选择一组代表性开放式提示，并为每个提示生成多条替代回复。收集两种标注方案。绝对质量标注采用 1 到 5 分制；对于 50 个提示中的每个提示抽取 15 条回复，并为每个查询与回复组合收集 25 个人类评分，生成 $25 \times 15 \times 50 = 18{,}750$25×15×50=18,750 个绝对标签。成对标注使用强偏好或弱偏好标签以及中性选项，比较同一查询的两个回复。在该设置下，每个提示抽取 10 个回复对，并为每个查询-回复-回复三元组收集 25 条标注，总计 $25 \times 10 \times 50 = 12{,}500$25×10×50=12,500 个成对标签。

收集到的标注随后通过计算每个标注项目标签分布上的香农熵，转换为分布信号。对于经验类别概率为 $p_k$pk​ 的成对三元组，熵定义为

$$H=-\sum_{k=1}^{5} p_k \log p_k.$$H=−k=1∑5​pk​logpk​.

高熵表明标注者之间存在显著分歧，而低熵表明标注者对哪个替代回复更好，或回复是否同样可接受，形成共识。熵分布和代表性示例如下：

左侧面板总结总体分歧趋势，右侧面板展示许多回复对获得接近均匀偏好支持的情况。对绝对评分也采用平行熵计算，将五个分数等级视为一个分布。这表明，即使是单一数值的质量判断，在开放式提示下也常常呈现异质性。相应的熵分析如下：

中间面板和右侧面板显示，查询与回复组合的标签分布差异很大：有些回复获得高度集中的高分，另一些回复则跨所有质量等级分散评分。

实验

实验考察大语言模型是否对开放式查询产生多样化输出，以及模型生成的评分是否反映人类对这些输出的判断。通过在大量真实世界开放式问题上从众多模型采样许多回复，研究发现，即便采用促进多样性的解码设置，单个模型内部仍存在大量重复，不同模型族之间也存在显著同质性。评估实验进一步显示，当替代回复质量相当或人类标注者存在分歧时，语言模型、奖励模型和语言模型评审与人类评分的一致性较低，这表明当前系统低估了多个合理答案的有效性。

分析显示，对同一开放式查询的回复高度重复，大多数模型会产生许多平均成对回复相似度超过 0.8 的查询。来自不同查询的随机配对回复的相似度远低于此，落在 0.1 到 0.2 范围。这表明采样参数无法防止回复池中出现大量语义重复。同一查询的回复通常落在非常高的嵌入相似度范围。大多数模型在高于 0.8 的相似度区间中表现出主导性重复。跨查询随机对的相似度远低于同一查询的回复对。

在报告的 min-p 采样设置下，同一语言模型针对同一开放式提示生成的回复往往非常相似。跨模型来看，大多数成对相似度得分落在高区间，表明存在大量重复，而不是多样化生成结果。大多数同一提示的回复对，其相似度高于不同提示的回复对。在测试的语言模型中，高成对相似度很常见。不同模型族的输出聚集于最高相似度区间的程度有所不同。

在报告的采样设置下，平均成对句子嵌入相似度显示，不同语言模型的回复之间存在大量语义重叠。这种重叠横跨各模型族；定性示例表明，针对完全开放式查询的输出可能惊人地相似，甚至包含连续逐字重复片段。在相关评估分析中，当回复对在质量上非常相似或标注者分歧较高时，模型判断与人类评分的一致性更低。不同语言模型在开放式生成任务上表现出较高的成对嵌入相似度。当回复相似或标注者分歧较高时，模型评估与人类评分的一致性更低。

实验评估了在报告的采样设置下，模型对开放式查询回复之间的嵌入相似度。结果显示，同一提示的回复，尤其是同一模型的回复，高度重复，且语义经常近乎相同；而无关查询对的相似度则低得多。分析还表明，不同模型可能产生惊人相似的输出，并且当回复对非常相似或标注者分歧较高时，模型评估与人类判断的一致性也更低。