MarianCG: نموذج تحويلي لتوليد الشفرات مستوحى من الترجمة الآلية

الفكرة القائلة بقدرة الحواسيب على إنشاء برامجها الخاصة بشكل تلقائي تُعد ذات أهمية بالغة، ويعمل العديد من الباحثين على التصدي لهذا التحدي. يُعرّف توليد الكود بأنه العملية التي يتم من خلالها إنتاج كود قابل للتنفيذ يمكن تشغيله مباشرة على الحاسوب، ويُلبي متطلبات اللغة الطبيعية. يُعد هذا الموضوع مثيرًا للاهتمام، وقد يسهم في مساعدة المطورين على تعلّم تقنية برمجية جديدة أو لغة برمجة، أو قد يكون أداة بسيطة لتسهيل عملية البرمجة من خلال وصف الكود بلغة طبيعية. في هذه الورقة البحثية، نقدّم نموذج "ماريان سي جي" (MarianCG)، وهو نموذج توليد كود مبني على نموذج التحويل (Transformer)، يُستخدم للتعامل مع تحدي توليد الكود من وصف بلغة طبيعية إلى كود بايثون. يُعد نموذج "ماريان نم ترانسلات" (MarianMT) – وهو النموذج الأساسي لمحول مايكروسوفت للغات – الأساس الذي بُني عليه محرك الترجمة من اللغة الطبيعية إلى الكود، ويُعدّ العمود الفقري لنموذج التدريس. في دراستنا، يُستخدم نموذج ماريان نم ترانسلات كنموذج لغة مُدرّس، وهو أحد أكثر نماذج الترجمة الآلية التحويلية نجاحًا. في نهجنا، نستخدم تقنية ترميز الموضع الجيبي (sinusoidal positional embedding) لتمثيل موقع كل رمز (token) في النص، دون استخدام تقنية التطبيع الطبقي (layer normalization embedding). يعتمد نهجنا في توليد الكود، المُسمى ماريان سي جي، على تدريب نموذج لغوي مُسبق التدريب في مجال الترجمة الآلية بشكل دقيق (fine-tuning). وهذا يسمح لنا بإثبات أن النموذج المُسبق التدريب في الترجمة الآلية يمكنه أيضًا أن يعمل بكفاءة كنموذج لتوليد الكود. يتفوق النموذج المقترح على النماذج الحالية المُتطورة في مجال توليد الكود عند تدريبه على مجموعتي بيانات CoNaLa وDJANGO. حيث حقق نموذج ماريان سي جي درجة BLEU قدرها 34.43 ودقة مطابقة دقيقة (exact match accuracy) بلغت 10.2% على مجموعة بيانات CoNaLa. كما سجّل النموذج درجة BLEU قدرها 90.41 ودقة مطابقة دقيقة بلغت 81.83% على مجموعة بيانات DJANGO. تتوفر إمكانية تنفيذ نموذج ماريان سي جي والموارد المرتبطة به عبر الرابط التالي: https://www.github.com/AhmedSSoliman/MarianCG-NL-to-Code.