RPR 합리적 선호 역전(Rational Preference Reversal) 데이터셋은 Microsoft Research가 2024년에 공개한 합성 조건-조건 선호 데이터셋으로, 관련 논문은 "Improving Context-Aware Preference Modeling for Language Models"이며, 특히 맥락 인식 선호 및 보상 모델 개발 측면에서 자연어 처리(NLP) 작업의 연구 및 개발을 촉진하기 위해 설계되었습니다.

이 데이터셋은 20,000개 이상의 쌍을 이루는 튜플로 구성되어 있으며, 각 튜플은 프롬프트, 컨텍스트(기준 또는 시나리오), 선호 판단으로 구성됩니다. 샘플은 쌍으로 제공되어 컨텍스트가 없는 경우 동일한 프롬프트에 대한 두 응답 간의 선호도가 완전히 모호해지도록 보장하며, 이를 통해 선호도 예측 성능이 모델의 컨텍스트 이해 및 해석 능력에만 의존하도록 합니다.

데이터셋 구성

이 데이터셋은 훈련 세트와 테스트 세트 두 가지 분할로 나뉩니다. 훈련 세트는 10,167개의 샘플을 포함하며, 테스트 세트는 1,000개의 샘플을 포함합니다. 각 샘플에는 다음 필드가 포함됩니다:

• prompt: 사용자가 제기한 질문 또는 프롬프트 내용.
• response_a, response_b: 비교 대상인 두 응답.
• criteria_x, criteria_y: 응답 선호도를 판단하기 위한 다른 평가 기준.
• category_x, category_y: 평가 기준에 대응하는 카테고리 정보.
• scenario_x, scenario_y: 응답 선호도를 판단하기 위한 다른 적용 시나리오.
• profile_0부터 profile_4까지: 선호도 판단과 관련된 사용자 프로필 정보.
• id: 샘플의 고유 식별자.

인용

@misc{pitis2024improvingcontextawarepreferencemodeling,
      title={Improving Context-Aware Preference Modeling for Language Models}, 
      author={Silviu Pitis and Ziang Xiao and Nicolas Le Roux and Alessandro Sordoni},
      year={2024},
      eprint={2407.14916},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2407.14916}, 
}