OpenHermesPreferences 데이터 세트는 Argilla가 Hugging Face H4 팀과 협력하여 만든 것으로 약 100만 개의 AI 선호도 데이터를 담고 있습니다. 이 데이터 세트는 Teknium의 고품질 OpenHermes-2.5 데이터 세트를 기반으로 하며, Mixtral-8x7B-Instruct-v0.1 및 Nous-Hermes-2-Yi-34B 모델의 피드백을 결합하고, PairRM 모델을 사용하여 출력의 점수를 매기고 순위를 매깁니다. 이 데이터 세트는 선호도 모델을 훈련하거나 직접적인 선호도 최적화와 같은 기술을 통해 언어 모델을 정렬하는 데 사용할 수 있습니다.