ميكروسوفت تطلق ThinkingBox لتقييم حالة قواعد بيانات وكلاء AI
أطلقت شركتا مايكروسوفت وهافنغ فيس منصة ثينكينغ بوكس لتقييم أداء الوكلاء الذكيين، وهي أداة منهجية تقيس نجاح الوكلاء بناءً على الحالة النهائية لقواعد البيانات والآثار الجانبية لعملياتهم، بدلاً من الاعتماد على سجلات استدعاء الأدوات أو النصوص المُولَّدة فقط. يأتي هذا الإصدار لحل فجوة تقييم شائعة حيث يُنجز الوكيل المهام ظاهرياً عبر تسع استدعاءات دقيقة للأدوات، لكنه يترك سجلات النظام في حالة غير صحيحة أو يغفل عن رد الفعل المطلوب فعلياً. تعتمد المنهجية على تشغيل خمسمئة وسبعة عشر سيناريو عمل مؤسسياً عبر قطاعات متعددة، مع إعادة كل تجربة عشرون مرة لكل نموذج لغوي. تركز المقاييس على دقة المحاولة الواحدة، والقدرة على النجاح مرة واحدة ضمن العشرين محاولة، والثبات التام عند النجاح في جميع المحاولات العشرون. كشفت النتائج عن انقسام واضح بين التغطية الواسعة والثبات التشغيلي. فقد تفوق نموذج كلود أوبس 5.5 بمعدل نجاح أولي يبلغ 67.16 في المائة، بينما برز نموذج كيمي-كي3 بأوسع نطاق للحلول لكن سجل ثباتاً منخفضاً عند التكرار. من ناحية أخرى، تميزت نماذج جي بي تي-5.4 وجي بي تي-6 أسترا في معدلات الثبات، مع الحفاظ على أكثر من 70 في المائة من أدائها الأولي عند الاختبار العشرون مرة، مما يعكس استقراراً أعلى في البيئات الحساسة. سلط التحليل الضوئي للقوة العاملة الضوء على أن ثمانية في المئة من حالات الفشل تعزى بشكل أساسي إلى أخطاء في التعامل مع الأدوات أو تحديثات الحالة غير المكتملة، وليس إلى عيوب في التفكير المنطقي. وكشف استعراض التكلفة لكل مهمة موثوقة عن علاقة طردية واضحة بين الدقة المستمرة والمصاريف، حيث يتراوح السعر بين ستة دولارات وثمانين سنتاً وثلاثة عشر دولاراً وخمسين سنتاً لكل مهمة متسقة، مما يشير إلى أن الاعتماد الكامل على الوكلاء في العمليات المؤسسية يتطلب موازنة دقيقة بين الموثوقية والكفاءة التشغيلية. أُدرجت المنصة وبيانات التقييم على منصة هافنغ فيس عبر واجهة أوبن إنف، مع تراخيص مفتوحة تسمح بالاختبار والتدريب. يهدف هذا الإصدار إلى إعادة صياغة معايير تقييم الوكلاء في المؤسسات، بتشجيع فرق التطوير على فحص الحالة الفعلية للسجلات قبل الاعتماد النهائي، وتصنيف أخطاء النظام لتمكين التكرار الفعال، والحد من مساحة أدوات الوكيل بما يتوافق مع سير العمل الفعلي. يُمثل إطلاق ثينكينغ بوكس خطوة عملية نحو نقل الوكلاء الذكيين من مرحلة الإثبات التجريبي إلى مرحلة النشر المؤسسي القابل للقياس والاعتماد المباشر على نتائج قواعد البيانات.
