الذكاء الاصطناعي يغفل أخطاءً برمجية رغم نجاح الاختبارات
كشفت تجربة حديثة أجراها باحث مستقل لتقييم وكلاء البرمجة المعزز بالذكاء الاصطناعي، عن ثغرة منهجية في دقة هذه الأنظمة عند إصلاح الأخطاء البرمجية. استهدفت التجربة نماذج كلاود من مختلف الفئات (Haiku 4.5 وSonnet 5 وOpus 4.8) مع هياكل عمل متعددة تشمل GStack، واختُبرت على ثلاثة أخطاء حقيقية تم إصلاحها مؤخرًا في مكتبات مفتوحة المصدر هي ky وimmer وdecimal.js. اعتمد الباحث منهجية تقييم أعمى مع اختبارات معيارية مخفية لم يرها الوكيل، لضمان موضوعية النتائج وعزل تأثير التسريب التدريبي. أظهرت النتائج أن التعقيد الخوارزمي لا يعكس بالضرورة قدرة النموذج على الإصلاح. فقد نجح الذكاء الاصطناعي بنسبة مئة في المئة في حل أخطاء معقدة في مكتبيتي immer وdecimal.js، حيث كان سبب الخلل والعلاج موجودًا بشكل كامل داخل هيكلية المشروع أو في تقارير الأخطاء، مما مكن النماذج من تتبع السبب الجذري وتطبيق حلول رياضية وهندسية دقيقة دون غموض. في المقابل، فشل الوكيل بشكل متكرر في إصلاح خطأ بسيط ظاهريًا في مكتبة ky HTTP، والذي يتجاهل حد إعادة المحاولة عند دمج الإعدادات. رغم تحديد السبب بدقة، قدمت النماذج حلولًا مرتبطة بملفات المستخدم الخاطئة، مما أدى إلى فساد صامت لبيانات الطلبات. الأخطر من ذلك أن جميع التصحيحات زائفة نجحت في اجتياز جميع الاختبارات المرئية المتوفرة، مما يبرز خطورة الاعتماد على مؤشرات الاندماج المستمر كمعيار وحيد للصحة البرمجية. لم تُغنِ التعقيدات العملية أو إضافة مدققي ذكاء اصطناعي مستقلين عن الخطأ نفسه. في إحدى السيناريوهات المتقدمة، اكتشف مدقق ذكي تأثير التصحيح الجانبي لكنه أقر باندماجه بحجة نادرة الحدوث أو تعقيد الإصلاح البديل، مما يؤكد أن الفشل الجذري يكمن في آلية اتخاذ القرار لا في الكشف التقني. توصي الدراسة بضرورة إعادة هيكلة سير عمل المراجعات البرمجية المعتمدة على الذكاء الاصطناعي. وتشير إلى أهمية تصنيف التقارير البرمجية حسب شفافية المعلومات المتوفرة فيها بدلاً من تعقيدها الظاهري، بالإضافة إلى إلزام أنظمة المراجعة بوضع حواجز أمان تلقائية تمنع الدمج عند رصد أي تأثيرات جانبية محتملة على البيانات. كما تحذر الفجوة المنهجية في معايير الاختبارات الحالية التي تغطي الحالة المبلغ عنها فحسب، وتغفل السياقات الخارجية لعرض النظام، مما يتطلب تعزيز عقود الاستخدام الصريحة في توثيق الأخطاء لضمان دقة الإصلاحات الآلية في بيئات الإنتاج.
