الشكّ في الإجابة وعدم إمكانية الإجابة في فهم القراءة الآلي متعدد الخيارات

لقد لاقت فهم القراءة الآلية (MRC) اهتمامًا كبيرًا كوسيلة لتقييم قدرة الأنظمة على فهم اللغة الطبيعية. عادةً ما تركز الأنظمة على اختيار الإجابة الصحيحة لسؤال معين بناءً على فقرة سياقية. ومع ذلك، هناك اعتباران إضافيان مهمان في العديد من تطبيقات الأنظمة التي تعتمد على أسئلة الاختيار من متعدد. ففي الامتحانات التي تعتمد على اختيار من متعدد، غالبًا ما تُطبّق نظام عقوبة على الإجابات الخاطئة، أي أن هناك عقوبة عند الإجابة الخاطئة. ومن منظور نظام فهم القراءة الآلية، يعني ذلك أن النظام يجب أن يكون لديه فكرة عن درجة عدم اليقين في الإجابة المتوقعة. أما الاعتبار الثاني، فهو أن العديد من أسئلة الاختيار من متعدد تحتوي على خيار "لا شيء مما سبق" (NOA)، الذي يشير إلى أن جميع الخيارات المقدمة غير مناسبة، بدلًا من افتراض أن هناك دائمًا إجابة صحيحة ضمن القائمة. تبحث هذه الورقة في كلا المشكلتين باستخدام مفهوم عدم اليقين التنبؤي. فهل يجب على النظام اقتراح إجابة أم لا يُعد تطبيقًا مباشرًا لعدم اليقين في الإجابة. هناك حالتان ممكنتان عند النظر في خيار "لا شيء مما سبق". أبسط طريقة هي بناء نظام صريح على بيانات تتضمن هذا الخيار. أما الطريقة البديلة، فهي استخدام عدم اليقين للكشف عما إذا كانت الخيارات الأخرى تتضمن الإجابة الصحيحة. فإذا لم يكن النظام كافيًا الثقة، فإنه سيختار خيار "لا شيء مما سبق". وبما أن لا يوجد مجمع قياسي متوفر لدراسة هذه المواضيع، فقد تم تعديل مجمع ReClor عن طريق إزالة الإجابة الصحيحة من مجموعة من الإجابات الممكنة. وتم استخدام نظام متطور عالي الأداء لتقييم مدى إمكانية تطبيق عدم اليقين في هذه السياقات. وقد أظهرت النتائج أن عدم اليقين يسمح بتحديد الأسئلة التي لا يثق فيها النظام في إجابته. علاوة على ذلك، أظهرت النتائج أن استخدام عدم اليقين يتفوق على نظام تم بناؤه صراحةً مع خيار "لا شيء مما سبق".