Der OpenHermesPreferences-Datensatz wurde von Argilla in Zusammenarbeit mit dem Hugging Face H4-Team erstellt und enthält ungefähr 1 Million KI-Präferenzdaten. Der Datensatz basiert auf dem hochwertigen OpenHermes-2.5-Datensatz von Teknium, kombiniert das Feedback der Modelle Mixtral-8x7B-Instruct-v0.1 und Nous-Hermes-2-Yi-34B und verwendet das PairRM-Modell, um die Ausgabe zu bewerten und zu ordnen. Dieser Datensatz kann zum Trainieren von Präferenzmodellen oder zum Anpassen von Sprachmodellen mithilfe von Techniken wie der direkten Präferenzoptimierung verwendet werden.