Der OpenHermesPreferences-Datensatz wurde von Argilla in Zusammenarbeit mit dem Hugging Face H4-Team erstellt und enthält ungefähr 1 Million KI-Präferenzdaten. Der Datensatz basiert auf dem hochwertigen OpenHermes-2.5-Datensatz von Teknium, kombiniert das Feedback der Modelle Mixtral-8x7B-Instruct-v0.1 und Nous-Hermes-2-Yi-34B und verwendet das PairRM-Modell, um die Ausgabe zu bewerten und zu ordnen. Dieser Datensatz kann zum Trainieren von Präferenzmodellen oder zum Anpassen von Sprachmodellen mithilfe von Techniken wie der direkten Präferenzoptimierung verwendet werden.

Zitat

@misc{open_hermes_preferences, Autor = {Shengyi Costa Huang und Agustín Piqueres und Kashif Rasul und Philipp Schmid und Daniel Vila und Lewis Tunstall}, Titel = {Hermes-Einstellungen öffnen}, Jahr = {2024}, Herausgeber = {Argilla & Hugging Face}, Journal = {Hugging Face Repository}, howpublished = {\url{https://huggingface.co/datasets/argilla/OpenHermesPreferences}} }