Le jeu de données RPR (Reasonable Preference Reversal) est un jeu de données synthétique de préférences condition-condition publié par Microsoft Research en 2024, associé aux résultats de recherche présentés dans « Improving Context-Aware Preference Modeling for Language Models ». Il vise à favoriser la recherche et le développement dans les tâches de traitement du langage naturel (NLP), en particulier dans la conception de modèles de préférences et de récompenses sensibles au contexte.

Ce jeu de données contient plus de 20 000 paires de tuples. Chaque tuple est composé d'une invite, d'un contexte (critère ou scénario) et d'un jugement de préférence. Les exemples sont fournis par paires, de manière à ce que, en l'absence de contexte, la préférence entre deux complétions pour une même invite soit totalement ambiguë. Cela garantit que les performances de prédiction des préférences dépendent uniquement de la capacité du modèle à comprendre et à interpréter le contexte.

Composition du jeu de données

Le jeu de données comprend deux divisions : un ensemble d'entraînement et un ensemble de test. L'ensemble d'entraînement contient 10 167 exemples, tandis que l'ensemble de test en contient 1 000. Chaque exemple comprend les champs suivants :

• prompt : la question ou l'invite posée par l'utilisateur.
• response_a, response_b : les deux réponses à comparer.
• criteria_x, criteria_y : les différents critères d'évaluation utilisés pour juger la préférence entre les réponses.
• category_x, category_y : les informations de catégorie correspondant aux critères d'évaluation.
• scenario_x, scenario_y : les différents scénarios d'application utilisés pour juger la préférence entre les réponses.
• profile_0 à profile_4 : les informations de profil utilisateur liées aux jugements de préférence.
• id : l'identifiant unique de l'exemple.

Citation

@misc{pitis2024improvingcontextawarepreferencemodeling,
      title={Improving Context-Aware Preference Modeling for Language Models}, 
      author={Silviu Pitis and Ziang Xiao and Nicolas Le Roux and Alessandro Sordoni},
      year={2024},
      eprint={2407.14916},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2407.14916}, 
}