RPR 合理的選好反転データセットは、Microsoft Research が 2024 年に公開した合成条件付き選好データセットであり、関連する論文成果は「Improving Context-Aware Preference Modeling for Language Models」である。このデータセットは、自然言語処理（NLP）タスクにおける研究開発、特に文脈を考慮した選好モデルおよび報酬モデルの開発を促進することを目的としている。

本データセットには 20,000 組以上のペア形式のタプルが含まれており、各タプルはプロンプト、コンテキスト（基準またはシナリオ）、選好判断で構成されている。サンプルはペアで提供され、コンテキストがない場合、同一プロンプトに対する 2 つの補完の選好は完全に曖昧となる。これにより、選好予測の性能は、モデルがコンテキストを理解し解釈する能力のみに依存することが保証される。

データセットの構成

本データセットは、訓練セットとテストセットの 2 つの分割で構成されている。訓練セットには 10,167 件のサンプル、テストセットには 1,000 件のサンプルが含まれている。各サンプルには以下のフィールドが含まれる：

• prompt：ユーザーが提示する質問またはプロンプト内容。
• response_a、response_b：比較対象となる 2 つの回答。
• criteria_x、criteria_y：回答の選好を判断するために使用される異なる評価基準。
• category_x、category_y：評価基準に対応するカテゴリ情報。
• scenario_x、scenario_y：回答の選好を判断するために使用される異なる適用シナリオ。
• profile_0 ～ profile_4：選好判断に関連するユーザープロファイル情報。
• id：サンプルの一意な識別子。

引用

@misc{pitis2024improvingcontextawarepreferencemodeling,
      title={Improving Context-Aware Preference Modeling for Language Models}, 
      author={Silviu Pitis and Ziang Xiao and Nicolas Le Roux and Alessandro Sordoni},
      year={2024},
      eprint={2407.14916},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2407.14916}, 
}