Command Palette
Search for a command to run...
مجموعة بيانات التدريب المسبق ثنائية اللغة (العربية والإنجليزية) لجبارتي-LLM
التاريخ
مجموعة بيانات Jabarti-LLM ثنائية اللغة (العربية-الإنجليزية) للمدرب المسبق
نظرة عامة على مجموعة البيانات
مجموعة بيانات Jabarti LLM هي مجموعة بيانات ثنائية اللغة لنماذج اللغة الكبيرة، نشرها bakrianoo، وتهدف إلى توفير دعم للمدرب المسبق، والتكيف مع المجال، والمعالجة الدقيقة تحت الإشراف لنماذج اللغة الصغيرة باللغة العربية والإنجليزية.
تجمع هذه المجموعة بين نصوص مختارة من التاريخ المصري ونصوص المعرفة العامة من ويكيبيديا متعددة اللغات، وقد خضعت للتنظيف، والتقطيع، وتنظيم المصادر، مما يوازن بين التغطية اللغوية العامة باللغتين العربية والإنجليزية والمعرفة المتخصصة في مجال التاريخ المصري. توفر المجموعة أيضاً مدونات نصية للمدرب المسبق وبيانات المعالجة الدقيقة القائمة على الأسئلة والأجوبة، مما يجعلها مناسبة للنمذجة اللغوية ثنائية اللغة، وتعلم المعرفة، وتدريب قدرات الإجابة على الأسئلة.
تكوين مجموعة البيانات
- مدونة المدرب المسبق: تحتوي على مقاطع نصية متصلة باللغة العربية والإنجليزية، حيث يتراوح طول كل سجل بين 120 و1,500 حرف تقريباً، مع إزالة عناوين المقالات وعناوين الأقسام.
- مدونة التاريخ المصري: تتضمن محتوى مختاراً ذا صلة بالتاريخ المصري، ويمكن تصفية بيانات الموضوعات التاريخية باستخدام حقول مثل egypt_relevance.
- مدونة ويكيبيديا: تدمج نصوص المعرفة العامة باللغة العربية والإنجليزية من CohereLabs/wikipedia-2023-11-embed-multilingual-v3.
- بيانات المعالجة الدقيقة القائمة على الأسئلة والأجوبة: توفر عينات أسئلة وأجوبة باللغة العربية والإنجليزية، تتضمن معلومات عن السؤال، والإجابة، واللغة، ونوع السؤال، ومستوى الصعوبة، مما يدعم المعالجة الدقيقة تحت الإشراف.
- حقول مصدر البيانات وجودة البيانات: تسجل المصدر، واللغة، وجودة المحتوى، ومجال الموضوع من خلال حقول مثل ds_source، وlanguage، وcontent_quality، وtopic_domain، مما يسهل تصفية البيانات وأخذ العينات.
- تقسيم البيانات: توفر إعدادات للمدرب المسبق والمعالجة الدقيقة، بالإضافة إلى تقسيمات المراحل المتوافقة مع المجموعات التدريبية، ومجموعات التقييم، والعمليات القديمة، مما يدعم الاستخدام في مراحل تدريب مختلفة.
بناء الذكاء الاصطناعي بالذكاء الاصطناعي
من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.