يحول ThinkingBox تقييم قاعدة البيانات إلى مكافآت RL للوكلاء
تستعرض المقالة تطوير إطار ثينك بوكس الذي طوّره فريق مايكروسوفت بالتعاون مع هاغينغ فايس، وهو إطار يهدف إلى قياس مدى اعتماد الوكلاء الآليين على السجلات الفعلية في قواعد البيانات، لا على الادعاءات التي يقدمها الوكيل عن إتمام المهمة. ويعتمد الإطار على بيئة حقيقية تحتوي على خلفية تشغيلية وأدوات وأفعال محددة، ثم يفحص في النهاية حالة قاعدة البيانات النهائية للتأكد من أن السجلات المطلوبة قد تغيّرت فعلا كما ينبغي. وقد لاحظ الفريق أن هذه الفحوصات النهائية، لأنها تعطي نتيجة ثنائية بسيطة، يمكن تحويلها إلى إشارات مكافأة تُستعمل في تدريب الوكلاء المعزّزين بعد التدريب الأولي. وبذلك لم تعد هذه الفحوصات مجرد وسيلة تقييم، بل أصبحت أساسا لبناء حلقة تدريبية تساعد النموذج على اكتساب سلوك أكثر دقة واتساقا في مهام واقعية حساسة. ويعتمد التدريب على اختيار مهام مناسبة بعناية، لأن معظم المهام تكون إما سهلة جدا على النموذج الأساسي أو مستحيلة عليه، ولا تقدم في الحالتين إشارة تعليمية قوية. ولذلك استعان الفريق بفكرة الصعوبة النسبية مقابل السياسة الحالية للنموذج، حيث تم قياس احتمالات النجاح لكل مهمة قبل بدء التدريب، ثم اختيرت المهام التي يُتوقع أن تنتج نتائج متنوعة ومتضادة بين النجاح والفشل، لأن التعلم المعزز يستفيد من الفرق بين المسارات الناجحة والفاشلة داخل نفس مجموعة المحاولات. وللتقدير الإحصائي لصعوبة كل مهمة، أجرى الفريق عدة محاولات استكشافية باستخدام السياسة الأساسية، ثم استخدم توزيعا إحصائيا معروفا باسم بيتا بعد تقدير جيفريز لفرز المهام إلى مستويات صعوبة مختلفة. وبهذه الطريقة، لم يدخل مجموعة التدريب إلا عدد محدد من المهام المفيدة، بلغ في الحالة المرجعية مئة وسبعة وثمانين مهمة، بينما بقيت مجموعة الاختبار مغلقة ومستقلة عن بيانات التدريب، رغم اشتراكهما في نفس الإطار العام ونمط المهام وبعض الأدوات. وشمل التدريب المرجعي تعديل النموذج الأساسي كوين٣.٨-٢٧ب باستخدام طريقة غرّبو لمدة خمسين خطوة، مع توليد مجموعات متعددة من المسارات لكل دفعة، وبمشاركة أربع وعشرين بطاقة معالجة رسومية من فئة إتش١٠٠. كما اعتنى الفريق بتوحيد تفسير مخرجات النموذج أثناء التدريب والتقييم، لأن أي اختلاف في تحليل استدعاءات الأدوات أو أنواع المعطيات قد يؤدي إلى مكافأة سلوك لا يتطابق مع ما يظهر في التقييم النهائي. وكانت النتائج الأساسية واضحة في تحسين الاتساق القابل للتكرار. فقد ارتفع متوسط النجاح في المحاولة الواحدة من ٥١٫٧٠ بالمئة إلى ٦٠٫٧٨ بالمئة، بينما قفز عدد المهام التي نجح النموذج في أدائها في جميع المحاولات العشرين من ٣٨ إلى ١٠٧ مهمة، أي ما يعادل تضاعف الاعتمادية بشكل كبير. وبمقارنة النتائج مع نماذج أخرى، أصبح النموذج بعد التدريب أقرب إلى نماذج قوية في قياس الاعتمادية، رغم بقاء بعض الفروق الواضحة أمام النماذج الأضخم والأكثر تطورا. في المقابل، لم تكن زيادة الاعتمادية بلا ثمن، إذ انخفض قليلا معدل المهام التي يُحل الواحد منها على الأقل مرة واحدة خلال العشرين محاولة. ويرجع ذلك إلى أن التدريب دفع توزيع الاحتمالات نحو مسارات أكثر استقرارا وتكرارا، بينما قد تختفي بعض المسارات النادرة التي كانت تنجح أحيانا بطرق مختلفة. لذلك خلصت المقالة إلى أن النجاح مرة واحدة لا يكفي للحكم على الجدارة، وأن الاختيار الحقيقي بين النماذج في التطبيقات التي تلمس بيانات الإنتاج يجب أن يعتمد على مقياسين معا: التغطية والاعتمادية. كما بيّنت المقالة أن التدريب حسّن الكلفة النسبية للنجاح المعتمد عليه. فقد انخفضت كلفة المحاولة الناجحة، وتراجعت كلفة المهمة المعتمدة من ٢٤٫٣٦ دولارا إلى ٨٫٠٠ دولارات لكل مهمة تُنجز في كل المحاولات، وهو ما جعل النموذج المدرب أكثر جدوى في الاستخدام المقارن، حتى وإن كانت هذه الأرقام مؤشرا خدميا وليس فاتورة حقيقية. وعلى مستوى المجالات، تحسنت النتائج في المتجر، وتأمين السيارات، والسفر، والخدمات البنكية الرقمية، والاستشارات، سواء في متوسط النجاح أو في النجاح الكامل عبر المحاولات العشرين. غير أن التغطية عرفت تباينا بين المجالات، فارتفعت في بعضها وانخفضت في أخرى، وهو ما يعكس طبيعة المقايضة بين اكتساب سلوك متسق وتقليص بعض المسارات البديلة غير المتكررة. وتقدم المقالة مثالا عمليا يوضح الفارق. ففي مهمة تتطلب موافقة مدير قبل تعديل حجز نزلاء، كان النموذج الأصلي في كثير من المحاولات يغير الحجز ويعيد الأموال دون الحصول على الموافقة، بينما بعد التدريب حافظ على حالة الحجز والدفع في جميع المحاولات، مع مطابقة كاملة تقريبا للسجلات المتوقعة. وتختم المقالة باستعراض الشيفرة التدريبية وإتاحتها للجمهور، مع التأكيد أن القيمة الحقيقية لا تكمن في نسخة واحدة من نموذج كوين، بل في منهجية تحويل فحوصات الحالة النهائية إلى إشارات مكافأة، واختيار المهام التدريبية بدقة، والحرص على تطابق طبقة التفسير في التدريب والتقييم. كما توصي الفرق التي تطوّر وكلاء يعملون على بيانات حقيقية بقياس صعوبة مهامها قبل التدريب، والتحقق من توحيد أدوات التحليل، والإبلاغ عن مقياسي النجاح أحيانا والنجاح في كل المحاولات معا.
