بعد أكثر من مئة عملية نشر لنظام الوكلاء الذكيين في المؤسسات، كشفت خبرتنا أن الفجوة الأساسية بين النماذج الواعدة في التجارب وقيمتها الفعلية في الإنتاج تكمن في غياب نظام تقييم قوي. غالبًا ما تفشل المشاريع بسبب عدم القدرة على قياس معدلات الهلوسة، وولاء المعلومات للسياق، ودقة اختيار الأدوات في الوقت الفعلي، مما يؤدي إلى رفض الامتثال وإخفاق المنتج. لحل هذه المشكلة، طورنا إطار عمل يتكون من 12 مقياسًا رئيسيًا مقسمة إلى أربع فئات. الفئة الأولى تركز على الاسترجاع، حيث يقيس "ملاءمة السياق" مدى ارتباط النصوص المسترجعة بالسؤال (يجب أن يكون المؤشر أعلى من 0.85)، بينما يقيس "استدعاء السياق" ما إذا تم العثور على جميع المعلومات المطلوبة (أعلى من 0.90). كما يضمن "دقة السياق" أن النتائج الأكثر صلة تظهر في القمم الأولى، ويقيس "زمن الاسترجاع" سرعة العملية لضمان عدم تجاوزها 200 مللي ثانية. أما الفئة الثانية فتتعلق بالتوليد، حيث يعد "ولاء الإجابة" المقياس الأهم لضمان تطابق الرد مع السياق المسترجع دون اختلاق (أعلى من 0.95)، و"ملاءمة الإجابة" لقياس مدى استجابة النص للسؤال المطروح (أعلى من 0.90)، و"معدل الهلوسة" الذي يحدد تكرار اختراع الحقائق (أقل من 2%). في الفئة الثالثة، نخصص مقاييس لسلوك الوكلاء المعقدين، بدءًا من "دقة اختيار الأدوات" للتأكد من اختيار الأداة المناسبة لنوع المهمة (أعلى من 0.92)، و"نسبة نجاح تنفيذ الأدوات" لقياس نجاح الأوامر التقنية (أعلى من 0.98)، و"التماسك متعدد الخطوات" لضمان بقاء السرد منطقيًا عبر العمليات المتعاقبة (أعلى من 0.85). أخيرًا، تغطي الفئة الرابعة مقاييس الإنتاج، حيث يقيس "التكلفة لكل استعلام" العبء المالي لضمان استدامة المشروع (أقل من 0.05 دولار للخدمات الموجهة للعملاء)، و"زمن الاستجابة المئوي 99" لضمان عدم تأخر رد النظام عن المستخدم لمدة تزيد عن 3 ثوانٍ. تشير الدراسات إلى أن العديد من الفرق تتجاهل هذه البنية بحجج مثل "سنضيفها لاحقًا" أو "الدقة الإحصائية تكفي"، وهو ما يؤدي إلى تكاليف باهظة لإصلاح الأنظمة بعد نشرها. بدلاً من ذلك، يجب بناء هذه البنية قبل الإطلاق، حيث يوصى بالبدء بمقاييس الاسترجاع والولاء في الأسبوعين الأولين، ثم إضافة مقاييس الهلوسة ودقة الأدوات في الأسابيع التالية، وأخيرًا مراقبة التكلفة والأداء مع استقرار النظام. بينما توجد أدوات مفتوحة المصدر تغطي بعض هذه الجوانب مثل Ragas وDeepEval، إلا أن دمجها مع مقاييس الوكلاء الخاصة ومراقبة الإنتاج غالبًا ما يتطلب بناء إطار موحد. التكلفة الإضافية لعمليات التقييم الذاتي عبر الذكاء الاصطناعي تعتبر استثمارًا ضروريًا لتجنب الحوادث المكلفة وتأمين ثقة المستخدمين، حيث أن جودة البنية التحتية للتقييم هي ما يميز الشركات الناجحة في سباق الوكلاء الذكيين، وليس فقط قوة النموذج نفسه.