إعطاء BERT آلة حاسبة: اكتشاف العمليات والحوجج باستخدام فهم القراءة

تم تطبيق نماذج فهم القراءة بنجاح في استخراج إجابات النص، ولكن لا يزال غير واضح كيفية تعميم هذه النماذج بأفضل طريقة على الإجابات العددية التحليلية. نحن نمكّن نموذج فهم القراءة القائم على BERT من أداء الاستدلال العددي الخفيف. نعزز هذا النموذج بمجموعة محددة مسبقًا من البرامج القابلة للتنفيذ التي تشمل الحساب البسيط واستخراج المعلومات. بدلاً من ضرورة تعلم التعامل مع الأرقام مباشرة، يمكن للنموذج اختيار برنامج وتنفيذه. على مجموعة البيانات الحديثة Discrete Reasoning Over Passages (DROP)، المصممة لتحدي نماذج فهم القراءة، أظهرنا تحسينًا مطلقًا بنسبة 33% بإضافة برامج سطحية. يمكن للنموذج أن يتعلم التنبؤ بعمليات جديدة عند الضرورة في إطار المسائل الكلامية الرياضية (روي وروث، 2015) باستخدام عدد قليل جدًا من أمثلة التدريب.