رؤى مستمدة من تقييم النماذج اللغوية المتقدمة على توليد كود تطبيقات الويب

تُقدّم هذه الورقة رؤى مستمدة من تقييم 16 نموذجًا متقدمًا للغة الكبيرة (LLMs) على معيار WebApp1K، وهو مجموعة اختبار صُمّمت لتقييم قدرة نماذج لغة كبيرة على إنشاء كود تطبيقات ويب. تُظهر النتائج أن جميع النماذج تمتلك معرفة أساسية متشابهة، لكن أداؤها يختلف وفقًا لتكرار الأخطاء التي ترتكبها. وبالتحليل المُفصّل للسطور البرمجية (LOC) وتوزيع الفشل، نجد أن كتابة كود صحيح أكثر تعقيدًا من إنشاء كود خاطئ. علاوةً على ذلك، تُظهر تقنيات هندسة المُدخلات (prompt engineering) فعالية محدودة في تقليل الأخطاء إلا في حالات محددة. تشير هذه النتائج إلى أن التطورات المستقبلية في نماذج لغة كبيرة المُخصّصة للبرمجة ينبغي أن تُركّز بشكل أكبر على موثوقية النموذج وتقليل الأخطاء.