Command Palette
Search for a command to run...
تقرير فني هالا: بناء نماذج تعليمية وترجمة متمحورة حول العربية على نطاق واسع
تقرير فني هالا: بناء نماذج تعليمية وترجمة متمحورة حول العربية على نطاق واسع
Hasan Abed Al Kader Hammoud Mohammad Zbeeb Bernard Ghanem
الملخص
نقدّم نموذج "هالة" (Hala)، وهي عائلة من النماذج المُخصّصة للغة العربية، مبنية باستخدام نهجنا المُسمّى "الترجمة ثم التحسين" (translate-and-tune). في البداية، نُقلّل حجم نموذج معلم قوي ثنائي الاتجاه (AR↔EN) إلى الدقة FP8، ما يُنتج زيادة في الإنتاجية بنسبة تصل إلى ضعفين مع الحفاظ على الجودة دون أي تدهور. ثم نستخدم هذا النموذج المُبسّط لإنشاء مراقبة ثنائية اللغة عالية الدقة. بعد ذلك، نُعدّل نموذج لغة خفيف الوزن يُدعى LFM2-1.2B على هذه البيانات، ويُستخدم لترجمة مجموعات تعليمية عالية الجودة من الإنجليزية إلى العربية، مما يُنتج مجموعات بيانات ضخمة بحجم المليون، مُصمّمة خصيصًا لمتابعة التعليمات. نُدرّب نماذج "هالة" بحجم 350 مليون، 700 مليون، 1.2 مليار، و9 مليار معلمة، ونطبّق تقنية الدمج السلايس (slerp merging) لموازنة التخصّص للغة العربية مع الحفاظ على القوة الأساسية للنموذج الأصلي. على معايير تقييم مُركّزة على اللغة العربية، تحقق "هالة" نتائج رائدة في مجالها ضمن الفئتين "النانو" (أقل من أو يساوي 2 مليار معلمة) و"الصغيرة" (من 7 إلى 9 مليارات معلمة)، وتتفوّق على النماذج الأساسية الخاصة بها. ونُطلق نماذجنا، والبيانات، ونتائج التقييم، وطرق التدريب (الوصفات)، بهدف تسريع تقدّم الأبحاث في مجال معالجة اللغة العربية.