توليد المعادلة باستخدام العمليات: نموذج GEO

حل مسائل الرياضيات النصية يُعد موضوعًا بحثيًا ناشئًا في معالجة اللغة الطبيعية. في الآونة الأخيرة، لمعالجة مهمة حل مسائل الرياضيات النصية، طبّق الباحثون بنية المُشفّر-المُفكّك (encoder-decoder)، والتي تُستخدم بشكل رئيسي في مهام الترجمة الآلية. تعتمد النماذج العصبية الرائدة حاليًا على ميزات مصممة يدويًا وتعتمد على مناهج الإنشاء (generation methods). في هذه الورقة، نقترح نموذج GEO (توليد المعادلات باستخدام العمليات) الذي لا يستخدم ميزات مصممة يدويًا، ويُعالج مشكلتين تواجهان النماذج العصبية الحالية: 1. نقص ميزات المعرفة المحددة بالقطاع (domain-specific knowledge features)، و2. فقدان المعرفة على مستوى المُشفّر (encoder-level knowledge). لمعالجة مشكلة نقص الميزات المحددة بالقطاع، صممنا مهمتين مساعدين: تنبؤ فرق مجموعات العمليات (operation group difference prediction) وتنبؤ الأزواج الضمنية (implicit pair prediction). ولحل مشكلة فقدان المعرفة على مستوى المُشفّر، أضفنا طبقة تغذية أمامية لمحور العمليات (Operation Feature Feed Forward - OP3F). أظهرت النتائج التجريبية أن نموذج GEO تفوق على النماذج الرائدة الحالية على مجموعتي بيانات، بتحقيقه 85.1% في MAWPS و62.5% في DRAW-1K، وحقق أداءً مماثلًا بنسبة 82.1% في مجموعة بيانات ALG514.