RPR 合理偏好反转数据集是由 Microsoft Research 于 2024 年发布的一个合成条件-条件偏好数据集，相关论文成果为「Improving Context-Aware Preference Modeling for Language Models」，旨在促进自然语言处理（NLP）任务中的研究与开发，特别是在开发上下文感知的偏好和奖励模型方面。

该数据集包含超过 20,000 个配对元组，每个元组由提示、上下文（标准或场景）和偏好判断组成，样本成对出现，使得在没有上下文的情况下，对同一提示的两个补全的偏好完全模糊，确保偏好预测性能仅取决于模型理解和解释上下文的能力。

数据集组成

该数据集包含训练集和测试集两个分割。训练集包含 10,167 个样本，测试集包含 1,000 个样本。每个样本包含以下字段：

• prompt：用户提出的问题或提示内容。
• response_a、response_b：待比较的两个回答。
• criteria_x、criteria_y：用于判断回答偏好的不同评价标准。
• category_x、category_y：评价标准对应的类别信息。
• scenario_x、scenario_y：用于判断回答偏好的不同应用场景。
• profile_0 至 profile_4：与偏好判断相关的用户画像信息。
• id：样本的唯一标识。

Citation

@misc{pitis2024improvingcontextawarepreferencemodeling,
      title={Improving Context-Aware Preference Modeling for Language Models}, 
      author={Silviu Pitis and Ziang Xiao and Nicolas Le Roux and Alessandro Sordoni},
      year={2024},
      eprint={2407.14916},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2407.14916}, 
}