OpenHermesPreferences 데이터 세트는 Argilla가 Hugging Face H4 팀과 협력하여 만든 것으로 약 100만 개의 AI 선호도 데이터를 담고 있습니다. 이 데이터 세트는 Teknium의 고품질 OpenHermes-2.5 데이터 세트를 기반으로 하며, Mixtral-8x7B-Instruct-v0.1 및 Nous-Hermes-2-Yi-34B 모델의 피드백을 결합하고, PairRM 모델을 사용하여 출력의 점수를 매기고 순위를 매깁니다. 이 데이터 세트는 선호도 모델을 훈련하거나 직접적인 선호도 최적화와 같은 기술을 통해 언어 모델을 정렬하는 데 사용할 수 있습니다.

소환

@misc{open_hermes_preferences, 저자 = {Shengyi Costa Huang, Agustín Piqueres, Kashif Rasul, Philipp Schmid, Daniel Vila, Lewis Tunstall}, 제목 = {Hermes 환경설정 열기}, 연도 = {2024}, 출판사 = {Argilla & Hugging Face}, 저널 = {Hugging Face 저장소}, howpublished = {\url{https://huggingface.co/datasets/argilla/OpenHermesPreferences}} }