وِيزَرْ كُودِر: تعزيز نماذج لغة البرمجة الكبيرة بوسيلة Evol-Instruct

نموذج اللغة الكودي الكبير (Code LLM)، مثل StarCoder، أظهر أداءً استثنائيًا في المهام المرتبطة بالكود. ومع ذلك، فإن معظم النماذج الحالية تُدرَّب مسبقًا فقط على كميات ضخمة من بيانات الكود الخام دون تدريب مُوجَّه بالتعليمات. في هذه الورقة، نقدّم "WizardCoder"، الذي يُزوّد نماذج لغة الكود بالقدرة على التدريب المُوجَّه بالتعليمات المعقدة، وذلك من خلال تكييف منهج Evol-Instruct في مجال الكود. من خلال تجارب شاملة على أربع معايير بارزة لتوليد الكود، وهي HumanEval وHumanEval+ وMBPP وDS-1000، كشفنا عن القدرات الاستثنائية لنمذجتنا. حيث تتفوق على جميع النماذج المفتوحة المصدر الأخرى لـ Code LLM بفارق كبير. علاوةً على ذلك، تتفوق نمذجتنا حتى على أكبر النماذج المغلقة، مثل Claude من Anthropic وBard من Google، في معياري HumanEval وHumanEval+. تم إتاحة الكود والمُعاملات النموذجية والبيانات عبر الرابط التالي: https://github.com/nlpxucan/WizardLM