OpenHermesPreferences データセットは、Hugging Face H4 チームと協力して Argilla によって作成され、約 100 万個の AI 嗜好データが含まれています。このデータセットは、Teknium の高品質 OpenHermes-2.5 データセットに基づいており、Mixtral-8x7B-Instruct-v0.1 および Nous-Hermes-2-Yi-34B モデルからのフィードバックが組み込まれており、PairRM モデルを使用してスコアを付け、ランク付けします。出力。このデータセットは、直接的な好みの最適化などの手法を通じて、好みのモデルをトレーニングしたり、言語モデルを調整したりするために使用できます。