HyperAIHyperAI

Command Palette

Search for a command to run...

تقرير فني هالا: بناء نماذج تعليمية وترجمة متمحورة حول العربية على نطاق واسع

Hasan Abed Al Kader Hammoud Mohammad Zbeeb Bernard Ghanem

الملخص

نقدّم نموذج "هالة" (Hala)، وهي عائلة من النماذج المُخصّصة للغة العربية، مبنية باستخدام نهجنا المُسمّى "الترجمة ثم التحسين" (translate-and-tune). في البداية، نُقلّل حجم نموذج معلم قوي ثنائي الاتجاه (AR↔EN) إلى الدقة FP8، ما يُنتج زيادة في الإنتاجية بنسبة تصل إلى ضعفين مع الحفاظ على الجودة دون أي تدهور. ثم نستخدم هذا النموذج المُبسّط لإنشاء مراقبة ثنائية اللغة عالية الدقة. بعد ذلك، نُعدّل نموذج لغة خفيف الوزن يُدعى LFM2-1.2B على هذه البيانات، ويُستخدم لترجمة مجموعات تعليمية عالية الجودة من الإنجليزية إلى العربية، مما يُنتج مجموعات بيانات ضخمة بحجم المليون، مُصمّمة خصيصًا لمتابعة التعليمات. نُدرّب نماذج "هالة" بحجم 350 مليون، 700 مليون، 1.2 مليار، و9 مليار معلمة، ونطبّق تقنية الدمج السلايس (slerp merging) لموازنة التخصّص للغة العربية مع الحفاظ على القوة الأساسية للنموذج الأصلي. على معايير تقييم مُركّزة على اللغة العربية، تحقق "هالة" نتائج رائدة في مجالها ضمن الفئتين "النانو" (أقل من أو يساوي 2 مليار معلمة) و"الصغيرة" (من 7 إلى 9 مليارات معلمة)، وتتفوّق على النماذج الأساسية الخاصة بها. ونُطلق نماذجنا، والبيانات، ونتائج التقييم، وطرق التدريب (الوصفات)، بهدف تسريع تقدّم الأبحاث في مجال معالجة اللغة العربية.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
تقرير فني هالا: بناء نماذج تعليمية وترجمة متمحورة حول العربية على نطاق واسع | مستندات | HyperAI