BigTranslate: تعزيز النماذج اللغوية الكبيرة بقدرات الترجمة متعددة اللغات عبر أكثر من 100 لغة

تُظهر النماذج اللغوية الكبيرة (LLMs) أداءً واعدًا في الترجمة بين مختلف اللغات الطبيعية. ومع ذلك، فإن العديد من هذه النماذج، وخاصة تلك المفتوحة المصدر مثل BLOOM وLLaMA، تُظهر تمركزًا قويًا باللغة الإنجليزية وتدعم فقط عشرين إلى ثلاثين لغة طبيعية، ما يجعل الإمكانات الكامنة للنماذج الكبيرة في مجال الترجمة اللغوية غير مُستغلة بالكامل. في هذا العمل، نقدّم نموذج BigTranslate، الذي يُعدّل نموذج LLaMA الذي يغطي فقط 20 لغة، ويعزز قدرته على الترجمة متعددة اللغات ليشمل أكثر من 100 لغة. يُبنى BigTranslate على نموذج LLaMA-13B، ويتم تحسينه عبر ثلاث مراحل: أولاً، نُواصل تدريب نموذج LLaMA باستخدام كميات ضخمة من البيانات الأحادية اللغة الصينية. ثانيًا، نُواصل التدريب باستخدام مجموعة بيانات متوازية ضخمة تشمل 102 لغة طبيعية. ثالثًا، نُنفّذ عملية التوجيه (instruct-tune) على النموذج الأساسي باستخدام تعليمات ترجمة متعددة اللغات، مما يؤدي إلى نموذج BigTranslate النهائي. أظهرت التجارب الأولية في الترجمة متعددة اللغات أن BigTranslate يُقدّم أداءً مماثلًا لـ ChatGPT وGoogle Translate في العديد من اللغات، ويتخطى حتى أداء ChatGPT في 8 أزواج لغوية. نُعلن عن إصدار نموذج BigTranslate ونأمل أن يُسهم في دفع عجلة التقدم في الأبحاث في هذا المجال.