تعليم النماذج أن تقول "لست متأكداً"
كشف باحثون في مختبر علوم الكمبيوتر والذكاء الاصطناعي التابع لجامعة ماساتشوستس (CSAIL) عن عيب جوهري في كيفية تدريب نماذج الذكاء الاصطناعي الحالية، مما يجعلها تُجيب بثقة زائدة ومضللة حتى عندما تكون تخمن. وقد طوّق الفريق، بقيادة طالب الدكتوراه ميهول داماني وإشا پوري، حلاً تقنياً جديداً يحافظ على دقة النموذج ويعلمه التعبير عن الشك عند عدم اليقين. المشكلة الأساسية تكمن في خوارزميات التعلم المعزز المستخدمة في النماذج الحديثة. هذه الخوارزميات تُكافئ النموذج على الإجابة الصحيحة وتُعاقبه على الخطأ فقط، دون النظر في عملية التفكير التي أدت للإجابة. نتيجة لذلك، يتعلم النموذج تقديم إجابات متسمة باليقين الدائم، سواء اعتمد على أدلة قوية أو قام بالمصادفة، لأن النتيجة النهائية هي نفسها في كلا الحالتين. هذا السلوك خطير جداً في المجالات الحساسة مثل الطب والقانون والمالية، حيث قد يثق المستخدمون في توصيات خاطئة إذا صرح النموذج بأنه واثق بنسبة 95 في المائة بينما يكون صوابه نصف فقط. لحل هذه المعضلة، طور الباحثون تقنية جديدة تسمى "التعزيز المعزز مع مكافآت المعايرة" (RLCR). تعمل هذه الطريقة على إضافة مقياس رياضي معروف باسم "درجة بريير" إلى دالة المكافأة الخاصة بالتدريب. هذا المقياس يحاسب النموذج بناءً على الفجوة بين درجة ثقته المعلنة ودقته الفعلية. في عملية التدريب، يُطلب من النموذج التفكير ليس فقط في حل المشكلة، بل أيضاً في درجة شكه حول الحل. يتم معاقبة الإجابات الصارمة الخاطئة، وكذلك الإجابات الصحيحة التي يعبر النموذج فيها عن شك غير مبرر. أثبتت التجارب أن هذه الطريقة قللت من خطأ المعايرة بنسبة تصل إلى 90 في المائة دون المساس بالدقة. بل إن الدقة تحسّنت في بعض الحالات، سواء في المهام التي تم تدريب النموذج عليها أو في مهام جديدة تماماً لم يرها من قبل. كما أثبت الباحثون رياضياً أن هذه البنية المكافأة تضمن دقة عالية ومعايرة مثالية. كما تفوقت الطريقة على الأساليب التقليدية التي تُحاكم فيها دقة النموذج بعد اكتمال التدريب باستخدام مصنف خارجي. أظهرت النتائج أيضاً أن تقديرات الثقة التي ينتجها النموذج باستخدام هذه التقنية قابلة للتطبيق عملياً. فعندما يُنتج النموذج عدة إجابات مرشحة، فإن اختيار الإجابة الأكثر ثقة أو استخدام تصويت مرجح بناءً على مستوى الثقة يحسّن من الدقة الكلية. كما وجد الفريق أن عملية التفكير الذاتي في عدم اليقين تحتوي على معلومات قيمة بحد ذاتها، حيث ساعدت هذه الاستدلالات في تحسين أداء المصنفات الخارجية، خاصة للنماذج الأصغر حجماً. سيتم عرض هذا البحث، الذي شارك في إعداده أيضاً ستوارت سلوكوم وإيدان شينفيلد وليشم تشوشين مع كبار الباحثين جاكوب أندرياس ويون كيم، في المؤتمر الدولي لتعلم التمثيلات في وقت لاحق من هذا الشهر. يهدف هذا العمل إلى جعل أنظمة الذكاء الاصطناعي أكثر موثوقية وأماناً من خلال منحها القدرة على قول "أنا لست متأكداً" عندما لا تكون تعرف الجواب، مما يعطي المستخدمين إشارة واضحة لطلب رأي ثانٍ أو توخي الحذر.
