Der RPR-Datensatz (Reasonable Preference Reversal) ist ein synthetischer, kontextabhängiger Präferenzdatensatz, der 2024 von Microsoft Research veröffentlicht wurde. Das zugehörige Paper ist verfügbar unter Improving Context-Aware Preference Modeling for Language Models, mit dem Ziel, Forschung und Entwicklung im Bereich der Verarbeitung natürlicher Sprache (NLP) zu fördern, insbesondere bei der Entwicklung kontextbewusster Präferenz- und Belohnungsmodelle.

Der Datensatz umfasst über 20.000 gepaarte Metriken, wobei jede Metrik aus einer Eingabeaufforderung, einem Kontext (Kriterium oder Szenario) und einer Präferenzentscheidung besteht. Die Stichproben sind paarweise angeordnet, sodass die Präferenz zwischen zwei Vervollständigungen derselben Eingabeaufforderung ohne Kontext vollständig mehrdeutig ist. Dies stellt sicher, dass die Leistung bei der Präferenzvorhersage ausschließlich von der Fähigkeit des Modells abhängt, den Kontext zu verstehen und zu interpretieren.

Datensatzzusammensetzung

Der Datensatz besteht aus zwei Teilen: einem Trainingsset und einem Testset. Das Trainingsset enthält 10.167 Stichproben, das Testset 1.000 Stichproben. Jede Stichprobe umfasst die folgenden Felder:

• prompt: Die vom Nutzer gestellte Frage oder Eingabeaufforderung.
• response_a, response_b: Die beiden zu vergleichenden Antworten.
• criteria_x, criteria_y: Unterschiedliche Bewertungskriterien zur Bestimmung der Präferenz zwischen den Antworten.
• category_x, category_y: Kategorieinformationen, die den Bewertungskriterien zugeordnet sind.
• scenario_x, scenario_y: Unterschiedliche Anwendungsszenarien zur Bestimmung der Präferenz zwischen den Antworten.
• profile_0 bis profile_4: Nutzerprofildaten, die mit der Präferenzentscheidung zusammenhängen.
• id: Eindeutige Kennung der Stichprobe.

Zitierung

@misc{pitis2024improvingcontextawarepreferencemodeling,
      title={Improving Context-Aware Preference Modeling for Language Models}, 
      author={Silviu Pitis and Ziang Xiao and Nicolas Le Roux and Alessandro Sordoni},
      year={2024},
      eprint={2407.14916},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2407.14916}, 
}