إن قدرة النماذج اللغوية الكبيرة (LLMs) على اتباع التعليمات قد أدت إلى ظهور فئة من الأنظمة القائمة على النماذج اللغوية الكبيرة، التي تتمتع بقدرة على التعامل مع مهام معقدة مثل إجراء تعديلات على مخازن التعليمات البرمجية الكبيرة. وبسبب الحساسية العالية وعدم القدرة على التنبؤ بسلوك النماذج اللغوية الكبيرة استجابةً للتغيرات في صيغة التعليمات (prompting)، هناك حاجة ماسة إلى أدوات تقييم قوية لدفع تطوير هذه الأنظمة في المستقبل. نقترح RES-Q، وهو معيار مبني على التعليمات باللغة الطبيعية لتقييم أنظمة تحرير المخازن (Repository Editing Systems)، ويتضمن 100 مهمة مخصصة يدوياً لتحرير المخازن، مستمدة من عمليات دمج حقيقية على GitHub. ويقيّم RES-Q قدرة نظام النموذج اللغوي الكبيرة على فهم التعليمات، واستكشاف المخزن للحصول على المعلومات ذات الصلة، وبناء تعديل مناسب يلبي المعايير المحددة، وذلك بالاعتماد على تعليمات التحرير ومخزن التعليمات البرمجية المعطى. ونُقدّم حجة بأن تقييم النماذج بهذه الطريقة يعالج المشكلات المرتبطة بالمعاير التقليدية، ويُقدّم تقييماً أكثر شمولاً لقدرات النموذج. وقد قمنا بتقييم عدة نماذج لغوية كبرى حديثة (state-of-the-art) كوكلاء لغويين في نظام لتحرير المخازن مبني على نظام Qurrent OS، وهو برنامج تطوير لوكالات اللغة. وعلى الرغم من الفرق البالغ 1% في أداء pass@1 على HumanEval، وجدنا أن نموذج Claude Sonnet 3.5 يتفوق على GPT-4o بنسبة 12% في أداء pass@1 على RES-Q، مما يدل على قدرة RES-Q على التمييز بين قدرات النماذج، حتى عندما تقترب المعايير التقليدية من حالة التشبع. كما قمنا بدراسة إضافية للكفاءة في استخدام الرموز (token efficiency)، والعلاقات بين الأداء والمعاير الحالية، بالإضافة إلى الفروقات المثيرة للاهتمام بين النماذج المغلقة والمنفتحة المصدر. يمكن الوصول إلى الكود والبيانات من خلال الرابط: https://github.com/Qurrent-AI/RES-Q.