إيقاف إهدار 90% من المحاولات في الـ ReAct Agent
أظهرت دراسة تحليلة شاملة للمهندسين المعنيين بالذكاء الاصطناعي أن وكلاء الذكاء الاصطناعي الذين يعملون بنمط ReAct يفقدون ما يقرب من تسعين بالمئة من ميزانية إعادة المحاولة الخاصة بهم، حيث يتم إهدار معظم المحاولات في معالجة أخطاء لا يمكن إصلاحها. في اختبار تضمن 200 مهمة، تم هدر 90.8 بالمئة من عمليات إعادة المحاولة ليس بسبب أخطاء عشوائية، بل لأن النظام كرر استدعاء أدوات غير موجودة في الأساس، وهو أمر لا يمكن للحلول برمجية أن ينجح حتى مع المحاولة المتعددة. السبب الجذري لهذه المشكلة يكمن في افتراض معماري شائع، وهو السماح لنموذج اللغة باختيار اسم الأداة في وقت التشغيل بدلاً من تحديد ذلك في مرحلة التخطيط المسبق. عندما يبتكر النموذج اسم أداة غير مسجلة، يسترجع النظام قيمة فارغة دون تسجيل نوع الخطأ، مما يؤدي إلى استهلاك موارد إعادة المحاولة بنفس طريقة التعامل مع الأخطاء المؤقتة القابلة للحل. هذا الفشل في تمييز الأخطاء الدائمة عن المؤقتة يعني أن ميزانية النظام تستنزف على أخطاء مستحيلة، تاركة موارد محدودة للتعامل مع الأعطال الحقيقية مثل انقطاع الشبكة. تشير النتائج إلى أن معدل النجاح في هذه الأنظمة قد يبدو مرتفعاً على السطح، لكنه يخفي خللاً جوهرياً في الاستقرار والكفاءة. ففي حين نجح نظام الـ ReAct التقليدي في 179 مهمة من أصل 200، فإن النظام المعدل نجح في جميع الـ 200 مهمة، لكن الفرق الأهم هو أن النظام التقليدي أهدر 466 محاولة عديمة الجدوى مقارنة بـ ثمان محاولات فقط في النظام المعدل، جميعها كانت مفيدة وقابلة للحل. كما أظهر النظام التقليدي تبايناً عالياً في عدد الخطوات المطلوبة لحل المهام، مما يجعل التنبؤ بالتكلفة الزمنية والموارد أمراً صعباً في بيئات الإنتاج. لحل هذه المشكلات، يقترح الدراسة ثلاثة إصلاحات هيكلية أساسية. أولاً، تصنيف الأخطاء بدقة قبل اتخاذ قرار إعادة المحاولة، حيث يتم فصل الأخطاء التي لا يمكن إصلاحها مثل عدم وجود الأداة عن الأخطاء المؤقتة القابلة لإعادة المحاولة، مما يمنع استهلاك الميزانية على محاولات فاشلة. ثانياً، استخدام قواطع دوائر (Circuit Breakers) خاصة بكل أداة بدلاً من عداد إعادة محاولة عام، مما يسمح بعزل الأعطال المحلية ومنعها من استنزاف موارد النظام بالكامل. ثالثاً، نقل عملية توجيه الأداة إلى الكود البرمجي باستخدام قوائم محددة مسبقاً بدلاً من السماح للنموذج بتوليد اسم الأداة، مما يلغي احتمالية حدوث أخطاء من نوع "الهلوسة" في طبقة التوجيه تماماً. تؤكد النتائج أن تطبيق هذه الإصلاحات لا يؤدي فقط إلى إلغاء الهدر في موارد إعادة المحاولة، بل يحسن أيضاً استقرار الأداء وتقليل التباين في الوقت المستغرق لتنفيذ المهام، مع الحفاظ على نفس مستوى الأداء في حالات الذروة. تشير الدراسة إلى أن الحل ليس في ضبط النصوص التوجيهية للنماذج، بل في إعادة تصميم الهندسة المعمارية للأنظمة لضمان دقة التعامل مع الأخطاء وإدارة الموارد بكفاءة، وهو أمر بالغ الأهمية للمهندسين الذين يعملون على نشر وكلاء ذكاء اصطناعي في بيئات الإنتاج.
