DeepMind推出CROME框架：增强大型语言模型的人类反馈对齐能力

在人工智能领域，大型语言模型（LLMs）的对齐问题一直是研究的重点。奖励模型作为对齐大型语言模型与人类反馈的关键组件，却因其面临“奖励黑客”问题而难以达到理想效果。这类问题的核心在于，现有的奖励模型倾向于关注如回复长度或格式等表层特征，而非真正的质量指标，比如事实正确性和相关性。由于标准的训练目标无法有效区分训练数据中的虚假关联和实际的因果驱动因素，这导致了模型的脆弱性和不准确性。 关键人物或参与组织 本研究的主要贡献者来自谷歌 DeepMind、麦吉尔大学和蒙特利尔学习算法研究所（MILA - Quebec AI Institute）的研究团队。 事件的时间线与背景 该研究开始于当前流行的大型语言模型训练方法存在的局限被广泛认知之后。标准的强化学习与人类反馈（RLHF）系统依赖于Bradley-Terry或成对排名方法，虽然这些方法已经取得了一定进展，但在处理奖励模型的“奖励黑客”问题上仍有显著不足。研究团队提出了一种基于因果框架的新方法——因果鲁棒奖励建模（Crome），旨在通过对合成数据的精心设计，提升奖励模型区分真实质量驱动因素与虚假线索的能力。 事件的起因、发展过程与结果 起因是当前主流的奖励模型方法虽然能够在一定程度上解决问题，但由于局限于已知的虚假因子，未能全面捕捉到未预见的关联因素。此外，增强策略和评价方法也未能提供应对多样化虚假变化的有效机制。Crome的提出正是基于解决这些不足的目的。研究团队首先构建了一个明确的因果模型，用于描述答案生成的过程。这一模型允许他们生成带有针对性的反事实数据集，通过这些数据集训练奖励模型，使其能够更好地识别事实准确性、相关性和风格等属性的真实变化。具体而言，Crome引入了两种类型的合成训练对：因果增强和中性增强。 因果增强：通过改变特定的因果属性（如事实准确性）来生成数据，确保模型对实际的质量变化敏感。 中性增强：通过使用中性标签对风格等无关属性进行增强，使模型对虚假因素保持不变。 实验结果显示，Crome在多个基准测试中表现出色，显著提高了奖励模型的排名准确性，尤其是在安全性和推理能力方面。在RewardBench上，Crome的总体准确性提高了4.5%，安全性提高了13.18%，推理能力提高了7.19%。此外，在reWordBench上的测试显示，Crome减少了从RewardBench到reWordBench的排名准确性下降幅度（19.78% vs 21.54%）。最后，在WildGuardTest安全测试中，Crome通过Best-of-N选择策略，明显降低了有害提示的攻击成功率，同时保持了对良性提示的合理拒绝率。 主要事实、突破或转折点 因果模型的引入：这是Crome方法的重要突破点，通过构建一个明确的因果模型，能够在训练数据中区分真实的质量驱动因素和虚假关联。 反事实数据的生成：Crome生成的属性感知反事实数据集，为模型提供了更加丰富的训练样本，有效增强了其识别真实变化的能力。 合成数据增强策略：结合因果增强和中性增强策略的使用，使得Crome能够在不同的任务和基准测试中表现出更高的鲁棒性和准确性。 相关背景信息 随着人工智能技术的不断进步，大型语言模型的应用日益广泛。然而，模型与人类价值观的一致性始终是一个重要挑战。现有方法虽然能够部分缓解奖励模型的问题，但其局限性明显，无法全面应对多样化的虚假因素。Crome的提出不仅解决了这一难题，还为未来的合成数据生成和训练提供了一个全新的视角。 背景补充 专家评论：多位人工智能领域的专家表示，Crome的提出是对齐大型语言模型的一次重大进步，为模型的可靠性提供了理论和实践上的支持。谷歌 DeepMind作为世界领先的人工智能研究机构，长期致力于开发能够更好地服务于人类社会的技术。此次与麦吉尔大学和MILA的合作，再次展示了其在前沿技术研究中的领导地位。Crome的研究成果不仅对于奖励模型本身有重要意义，还将在更广泛的合成数据生成领域产生深远影响，为未来的大型语言模型训练提供新的可能性。