هزم الذكاء الاصطناعي: دراسة التصنيف البشري العدواني لفهم القراءة

لقد كانت الابتكارات في منهجية الترميز عاملًا دافعًا ل datasets ونماذج فهم القراءة (RC). أحد الاتجاهات الحديثة التي تهدف إلى تحدي النماذج الحالية في فهم القراءة هو إشراك النموذج في عملية الترميز: حيث يُنشئ البشر أسئلة بشكل مُعادٍ، بحيث يفشل النموذج في الإجابة عنها بشكل صحيح. في هذه الدراسة، نستعرض هذه المنهجية ونطبّقها في ثلاث بيئات مختلفة، ونجمع ما مجموعه 36,000 عينة، مع استخدام نماذج متزايدة القوة في دورة الترميز. يتيح لنا هذا التجميع استكشاف أسئلة مثل إعادة إنتاج التأثير المُعادٍ، ونقل الأداء من بيانات تم جمعها باستخدام نماذج ذات قوة مختلفة في دورة الترميز، والتعميم على بيانات تم جمعها دون وجود نموذج في الدورة. ونجد أن التدريب على عينات تم جمعها بطرق مُعادية يؤدي إلى تعميم قوي على مجموعات بيانات غير مُعادية، لكنه يصاحبه تدهور تدريجي في الأداء مع تزايد قوة النموذج المُستخدم في الدورة. علاوةً على ذلك، نلاحظ أن النماذج الأقوى لا تزال قادرة على التعلم من مجموعات بيانات تم جمعها باستخدام نماذج أضعف بشكل ملحوظ. فعند تدريب نموذج RoBERTa على بيانات تم جمعها باستخدام نموذج BiDAF داخل الدورة، يحقق أداءً بنسبة 39.9 في المائة من F1 على الأسئلة التي لا يستطيع الإجابة عنها عند تدريبه على مجموعة SQuAD — وهو أداء يقل فقط قليلاً عن الأداء الذي يحققه عند تدريبه على بيانات تم جمعها باستخدام RoBERTa نفسه (41.0 في المائة من F1).