OpenHermesPreferences データセットは、Hugging Face H4 チームと協力して Argilla によって作成され、約 100 万個の AI 嗜好データが含まれています。このデータセットは、Teknium の高品質 OpenHermes-2.5 データセットに基づいており、Mixtral-8x7B-Instruct-v0.1 および Nous-Hermes-2-Yi-34B モデルからのフィードバックが組み込まれており、PairRM モデルを使用してスコアを付け、ランク付けします。出力。このデータセットは、直接的な好みの最適化などの手法を通じて、好みのモデルをトレーニングしたり、言語モデルを調整したりするために使用できます。

引用

@misc{open_hermes_preferences, 著者 = {Shengyi Costa Huang、Agustín Piqueres、Kashif Rasul、Philipp Schmid、Daniel Vila、Lewis Tunstall}、 タイトル = {Hermesの設定を開く}、 年 = {2024}、 出版社 = {Argilla & Hugging Face}、 ジャーナル = {Hugging Face リポジトリ}、 howpublished = {\url{https://huggingface.co/datasets/argilla/OpenHermesPreferences}} }