تحول جوهري في الترجمة الآلية: تعزيز أداء نماذج اللغة الكبيرة في الترجمة

لقد حققت نماذج اللغة الكبيرة التوليدية (LLMs) تقدماً ملحوظاً في مهام معالجة اللغة الطبيعية (NLP) المختلفة. ومع ذلك، لم يُعكس هذا التقدم في مهمة الترجمة، خصوصاً بالنسبة للنماذج ذات الحجم المتوسط (مثل 7B أو 13B معلمة)، التي لا تزال تتخلف عن النماذج التقليدية المُدرَّبة بأسلوب مراقبة على بنية المشفر-المُفكِّك (encoder-decoder). حاولت الدراسات السابقة تحسين قدرات الترجمة في هذه النماذج المتوسطة، لكن النتائج كانت محدودة. في هذه الدراسة، نقترح منهجاً جديداً للضبط الدقيق (fine-tuning) للنماذج الكبيرة للغة، مصمماً خصيصاً لمهام الترجمة، ويُلغِّي الحاجة إلى كميات كبيرة من البيانات المتزامنة (parallel data) التي تعتمد عليها النماذج التقليدية للترجمة. يتكون هذا المنهج من مرحلتين للضبط الدقيق: الأولى على بيانات أحادية اللغة (monolingual data)، تليها مرحلة ثانية على مجموعة صغيرة من البيانات المتزامنة عالية الجودة. ونُقدِّم النموذج المُطوَّر عبر هذا الاستراتيجية باسم "النموذج اللغوي المتقدم القائم على اللغة" (Advanced Language Model-based trAnslator - ALMA). وباستخدام نموذج LLaMA-2 كأساس، تُظهر النتائج أن النموذج يمكنه تحقيق متوسط تحسن يزيد عن 12 نقطة في معيار BLEU و12 نقطة في معيار COMET مقارنة بالأداء الصفرية (zero-shot) عبر 10 اتجاهات ترجمة من مجموعات اختبار WMT'21 (اتجاهين) وWMT'22 (ثمانية اتجاهات). ويُظهر الأداء تفوقاً كبيراً على جميع الدراسات السابقة، بل وحتى يتفوق على نموذجي NLLB-54B وGPT-3.5-text-davinci-003، مع امتلاكه فقط 7B أو 13B معلمة. ويُرسي هذا الأسلوب الأساس لمنهاج تدريب جديد في مجال الترجمة الآلية.