إعادة ترتيب مُراجع المُبرمج لتحرير الكود

استخدام عينات من برامج متنوعة من نموذج لغة برمجة وإعادة ترتيبها باستخدام احتمالية النموذج يُعد طريقة شائعة لتوليد الكود، لكنها عرضة لتقديم حلول متدهورة. مستوحى من البرمجة التعاونية، نقترح طريقة إعادة ترتيب تُسمى Coder-Reviewer. نُعزز نماذج لغة البرمجة "Coder" المستمدة من أبحاث سابقة، التي تُولّد برامج بناءً على تعليمات بلغة طبيعية، بدمج نماذج "Reviewer" التي تقيّم احتمالية صحة التعليمات بناءً على البرامج المولّدة. أجرينا دراسة موسعة على ستة مجموعات بيانات باستخدام ثمانية نماذج من ثلاث عائلات نماذج مختلفة. أظهرت النتائج التجريبية أن إعادة ترتيب Coder-Reviewer تؤدي إلى تحسين متسق وملحوظ (بحد أقصى 17% من الزيادة المطلقة في الدقة) مقارنة بإعادة الترتيب باستخدام نموذج Coder فقط. عند دمجها مع تصفية قابلية التنفيذ، يمكن 통بيت Coder-Reviewer أن تتفوّق أحيانًا على طريقة الحد الأدنى من مخاطر بايز (Minimum Bayes Risk). تُعد طريقة Coder-Reviewer سهلة التنفيذ عبر التحفيز (prompting)، وقابِلة للتعميم على لغات برمجة مختلفة، وتعمل بكفاءة باستخدام معايير مسبقة (off-the-shelf hyperparameters).