تدريس الآلات البرمجة: إنشاء العلامات العصبية باستخدام الانتباه البصري

نقدم نموذج محوّل عصبي مع انتباه بصري يتعلم إنشاء رموز LaTeX لمعادلة رياضية حقيقية من صورتها. باستخدام تقنيات النمذجة التسلسلية والتحويل التي حققت نجاحًا كبيرًا في مجالات مختلفة مثل اللغة الطبيعية، الصور، الكتابة باليد، الكلام والصوت؛ نقوم ببناء نموذج تحويل من الصورة إلى الرمز الذي يتعلم إنتاج كود LaTeX صحيح من الناحيتين النحوية والدلالية يتكون من أكثر من 150 كلمة ويحقق درجة BLEU تبلغ 89%؛ مما يحسن على الحالة السابقة لأفضل ما تم تحقيقه في مشكلة Im2Latex. كما نوضح أيضًا باستخدام تصور خرائط الحرارة كيف يمكن للانتباه أن يساعد في فهم النموذج ويمكنه تحديد (كشف وتحديد موقع) الرموز على الصورة بدقة رغم عدم تدريبه بأي بيانات حول الصناديق الحدودية.