الملخص

مع التوسع المتسارع في استخدام نماذج اللغة الكبيرة (LLMs) في هندسة البرمجيات، أصبح من الضروري إجراء تقييمات أمنية صارمة للشفرة المُولَّدة من هذه النماذج. ومع ذلك، فإن المعايير الحالية تُعد غير كافية، إذ تركز على قطع شفرة منفصلة، وتستخدم أساليب تقييم غير مستقرة تفتقر إلى قابلية إعادة التكرار، كما تفشل في ربط جودة السياق المُدخل بأمان الناتج. ولسد هذه الفجوات، نقدّم A.S.E (A.S.E: تقييم أمان توليد الشفرة بواسطة الذكاء الاصطناعي)، وهو معيار مُصمم لتقييم توليد الشفرة الآمنة على مستوى المستودعات (repository-level). يُنشَأ مهام A.S.E من مستودعات واقعية تحتوي على ثغرات موثقة (CVEs)، مع الحفاظ على السياق الكامل للمستودع، مثل أنظمة البناء والاعتماديات المتقاطعة بين الملفات. يعتمد إطار التقييم في A.S.E على بيئة قابلة لإعادة التكرار ومحصَّنة داخل حاويات (containerized)، ويستخدم قواعد محددة من قبل خبراء لتوفير تقييمات مستقرة وقابلة للتدقيق من حيث الأمان، وجودة البناء، واستقرار عملية التوليد. أظهر تقييمنا للنماذج الرائدة من LLMs باستخدام A.S.E ثلاث نتائج رئيسية: (1) حقق نموذج Claude-3.7-Sonnet أفضل أداء عام. (2) الفجوة الأمنية بين النماذج المُلكية والمنشورة مفتوحة المصدر ضئيلة؛ إذ حصل نموذج Qwen3-235B-A22B-Instruct على أعلى درجة أمنية. (3) تُظهر استراتيجيات التفكير السريع والمركّزة في عملية التشفير (decoding) أداءً أفضل بشكل متسق مقارنةً بالاستراتيجيات المعقدة والبطيئة التي تعتمد على التفكير الاستنتاجي (reasoning) في توليد إصلاحات أمنية.