قارئ رمزي عصبي: دمج قابل للتوسع بين التمثيلات الموزعة والرموزية لفهم القراءة

دمج التمثيلات الموزعة مع العمليات الرمزية يُعد أمرًا بالغ الأهمية لفهم القراءة الذي يتطلب استنتاجات معقدة، مثل العد، الترتيب، والحسابات الحسابية، ولكن معظم النماذج الحالية تواجه صعوبات في التوسع إلى مجالات أكثر أو استنتاجات أكثر تعقيدًا. في هذا العمل، نقترح نموذج "القارئ الرمزي العصبي" (NeRd)، الذي يتضمن قارئًا، مثل BERT، لتمثيل النص والسؤال، وبرنامجًا، مثل LSTM، لإنشاء برنامج يتم تنفيذه لإنتاج الإجابة. مقارنةً بالدراسات السابقة، يمتاز NeRd بقدرته على التوسع في جوانب متعددة: (1) عدم الاعتماد على المجال (domain-agnostic)، أي أن نفس البنية العصبية تعمل بكفاءة في مجالات مختلفة؛ (2) التراكيبية (compositional)، أي أنه عند الحاجة، يمكن إنشاء برامج معقدة من خلال تطبيق متكرر للعمليات المحددة مسبقًا، مما يُحدث تمثيلات قابلة للتنفيذ والتفسير لاستنتاجات أكثر تعقيدًا. علاوةً على ذلك، ولتجاوز تحدي تدريب NeRd باستخدام مراقبة ضعيفة، نستخدم تقنيات تعزيز البيانات (data augmentation) وطريقة التوقع-التحديث (Expectation-Maximization) الصعبة مع تطبيق حد أدنى (thresholding). على مجموعة بيانات DROP، التي تمثل تحدّيًا في فهم القراءة المطلوب فيه استنتاجات منفصلة (discrete reasoning)، حقق NeRd تحسنًا مطلقًا بنسبة 1.37% و1.18% مقارنةً بأفضل النماذج الحالية من حيث مقاييس EM وF1 على التوالي. وباستخدام نفس البنية، تفوق NeRd بشكل كبير على النماذج الأساسية على مجموعة بيانات MathQA، وهي مجموعة اختبار لمشاكل رياضية تتطلب خطوات متعددة من الاستنتاج، بنسبة تحسن مطلقة قدرها 25.5% في الدقة عند تدريبه على جميع البرامج المُعلّمة. والأهم من ذلك، أن NeRd لا يزال يتفوق على النماذج الأساسية حتى عند توفر فقط 20% من التصنيفات البرمجية.