OpenHermesPreferences: مجموعة بيانات تفضيلات الذكاء الاصطناعي

تم إنشاء مجموعة بيانات OpenHermesPreferences بواسطة Argilla بالتعاون مع فريق Hugging Face H4 وتحتوي على ما يقرب من مليون بيانات تفضيلات الذكاء الاصطناعي. تعتمد مجموعة البيانات على مجموعة بيانات OpenHermes-2.5 عالية الجودة من Teknium، وتجمع بين التعليقات الواردة من نموذجي Mixtral-8x7B-Instruct-v0.1 وNous-Hermes-2-Yi-34B، وتستخدم نموذج PairRM لتسجيل النتائج وتصنيفها. يمكن استخدام مجموعة البيانات هذه لتدريب نماذج التفضيلات أو لمواءمة نماذج اللغة عبر تقنيات مثل تحسين التفضيلات المباشرة.