المساواة البشرية في CommonsenseQA: تعزيز الانتباه الذاتي بالانتباه الخارجي

تركز معظم أنظمة الذكاء الاصطناعي الحالية على استخدام آليات الانتباه الذاتي وبنية المحولات (Transformer) على كميات كبيرة من البيانات المتنوعة لتحقيق تحسينات ملحوظة في الأداء. في هذه الورقة، نقترح تعزيز بنية المحولات بآلية انتباه خارجية لدمج المعرفة والسياق الخارجي. من خلال دمج المعلومات الخارجية في عملية التنبؤ، نهدف إلى تقليل الحاجة إلى نماذج أكبر باستمرار، وتعزيز تعميم استخدام أنظمة الذكاء الاصطناعي. وجدنا أن الآلية المقترحة للاهتمام الخارجي يمكنها تحسين الأداء بشكل كبير للأنظمة الذكية الاصطناعية الحالية، مما يمكّن الممارسين من تخصيص نماذج الذكاء الاصطناعي الأساسية بسهولة لعدد كبير من التطبيقات السفلية المتنوعة. وبشكل خاص، نركز على مهمة الاستدلال البديهي، ونُظهر أن الآلية المقترحة للاهتمام الخارجي يمكنها تعزيز النماذج القائمة على المحولات وتحسين قدرات الاستدلال لدى النموذج بشكل ملحوظ. وتحقق النظام المقترح، المسمى "الاهتمام الخارجي المُلم بالمعارف للاستدلال البديهي (KEAR)"، مستوى مساواة بشري على معيار البحث المفتوح لـ CommonsenseQA بتحقيق دقة قدرها 89.4% مقارنة بدقة البشر التي بلغت 88.9%.