L'ensemble de données OpenHermesPreferences a été créé par Argilla en collaboration avec l'équipe Hugging Face H4 et contient environ 1 million de données de préférences IA. L'ensemble de données est basé sur l'ensemble de données OpenHermes-2.5 de haute qualité de Teknium, combine les commentaires des modèles Mixtral-8x7B-Instruct-v0.1 et Nous-Hermes-2-Yi-34B et utilise le modèle PairRM pour noter et classer la sortie. Cet ensemble de données peut être utilisé pour former des modèles de préférences ou pour aligner des modèles linguistiques via des techniques telles que l'optimisation directe des préférences.