OpenHermesPreferences 数据集是由 Argilla 与 Hugging Face H4 团队协作创建的，包含约 100 万条 AI 偏好数据。该数据集基于 Teknium 的高质量 OpenHermes-2.5 数据集，融合了 Mixtral-8x7B-Instruct-v0.1 和 Nous-Hermes-2-Yi-34B 模型的反馈，采用 PairRM 模型对输出进行评分和排名。该数据集可用于训练偏好模型或通过直接偏好优化等技术对齐语言模型。