التعديل الدقيق لنموذجات اللغة الكبيرة للإجابة على الأسئلة البرمجية باستخدام قطع الشفرة

ندرس قدرة النماذج الكبيرة المُدرَّبة مسبقًا للغة (LLM) على الإجابة على الأسئلة المطروحة في منتديات الأسئلة والأجوبة عبر الإنترنت، مثل Stack Overflow. ونأخذ بعين الاعتبار أزواج الأسئلة والأجوبة التي يتكوّن جزءها الرئيسي من الشيفرة المصدرية. وعلى مجموعتي بيانات معياريّتين—CoNaLa ومجموعة بيانات جديدة تم جمعها بناءً على Stack Overflow—نستكشف كيفية تحسين نظام الإجابة على الأسئلة دون استخدام مصادر خارجية (closed-book) من خلال تدريب النموذج المسبق بشكل مُعدّل (fine-tuning) للوظيفة المستهدفة، وهندسة النص المُدخل (prompt engineering)، وتحسين البيانات المُقدَّمة. ونستخدم نماذج لغوية ذاتية التوليد متاحة للعامة مثل GPT-Neo وCodeGen وPanGu-Coder، وبعد تطبيق التدريب المُعدّل المقترح، نحقق درجة BLEU قدرها 0.4432 على مجموعة اختبار CoNaLa، مما يفوق بشكل ملحوظ الأداء الأفضل السابق لهذا المهمة.