IDOL: التدريب المسبق للمنطق الموجه بالمؤشرات للاستدلال المنطقي

في مجال فهم القراءة الآلي (MRC)، تفوّقت الأنظمة الحالية على الأداء المتوسط للبشر في العديد من المهام مثل SQuAD. ومع ذلك، لا يزال هناك طريق طويل أمامها فيما يتعلق بالاستدلال المنطقي. وعلى الرغم من تقديم بعض الطرق لمعالجة هذه المشكلة، إلا أنها إما مصممة بطريقة معقدة جدًا، أو تعتمد بشكل مفرط على هياكل خارجية. في هذه الورقة، نُقدّم IDOL (التمهيد المنطقي المُوجّه بالمؤشرات)، وهي مهمة تدريب مسبق مُحسَّنة بسهولة فائقة وفعالية عالية، تُعزز بشكل منطقي النماذج المُدرّبة مسبقًا باستخدام ستة أنواع من المؤشرات المنطقية، وبيانات مُستَخدَمة غنية بالسياق المنطقي تُسمى LGP (LoGic Pre-training). تحقق IDOL أداءً متقدمًا على مستوى الحالة الحالية في المBenchmarkين ReClor وLogiQA، وهما المBenchmarkين الأكثر تمثيلًا في مجال فهم القراءة الآلي القائم على الاستدلال المنطقي. كما أُثبتت قدرتها على التعميم على نماذج مُدرّبة مسبقًا مختلفة، وكذلك على أنواع أخرى من مBenchmarkات فهم القراءة الآلي مثل RACE وSQuAD 2.0، مع الحفاظ على قدرة تنافسية في فهم اللغة العامة، وذلك عبر اختبارها على مهام ضمن GLUE. علاوةً على ذلك، في بداية عصر النماذج اللغوية الكبيرة، قمنا بمقارنة IDOL مع بعض هذه النماذج مثل ChatGPT، ووجدنا أن IDOL لا تزال تُظهر ميزة واضحة.