شاهد، انتبه وحلل: نهج قائمة على شبكة عصبية من النهاية إلى النهاية للتعرف على التعبيرات الرياضية المكتوبة بخط اليد

تمييز الآلة للتعبيرات الرياضية المكتوبة بخط اليد (HME) يُعد تحديًا بسبب الغموض الناتج عن الرموز المكتوبة بخط اليد والبنية ثنائية الأبعاد للتعبيرات الرياضية. مستوحاة من الأبحاث الحديثة في التعلم العميق، نقدّم نموذج "انظر، انتبه، وفكّر" (WAP)، وهو نهج جديد متكامل بالكامل يعتمد على الشبكات العصبية، يتعلم تمييز التعبيرات الرياضية المكتوبة بخط اليد ضمن تخطيط ثنائي الأبعاد، ويُخرِجها كسلسلة أحادية الأبعاد من الرموز بصيغة لاتيك (LaTeX). على عكس الطرق التقليدية بشكل طبيعي، يتجنب النموذج المُقترح المشاكل الناتجة عن تقسيم الرموز، ولا يحتاج إلى قواعد نحوية مُحددة مسبقًا. في المقابل، يتم التعامل مع مشكلتي تمييز الرموز وتحليل البنية، على التوالي، باستخدام "مُراقب" (watcher) و"مُحلّل" (parser). نستخدم مشغلًا مبنيًا على شبكة عصبية تلافيفية (CNN) يتلقى صور التعبيرات الرياضية كمدخلات، كمُراقب، ونستخدم مشغلًا مبنيًا على شبكة عصبية متكررة (RNN) مزودة بآلية انتباه (attention) كمُحلّل لإنتاج تسلسلات لاتيك. علاوة على ذلك، يتم تعلّم التوافق بين التعبيرات المدخلة وسلسلة لاتيك الناتجة تلقائيًا بواسطة آلية الانتباه. وقد تم التحقق من أداء النموذج المقترح على مجموعة بيانات معيارية نُشرت ضمن مسابقة CROHME الدولية. وباستخدام مجموعة التدريب الرسمية، تفوق نموذج WAP بشكل كبير على أحدث الطرق المُعتمدة، حيث حقق دقة تمييز تعبيرات قدرها 46.55% في مسابقة CROHME 2014، و44.55% في مسابقة CROHME 2016.