عندما يلتقي العد بـ HMER: شبكة واعية بالعد لتمييز التعبيرات الرياضية المكتوبة بخط اليد

في الآونة الأخيرة، اعتمدت معظم طرق التعرف على التعبيرات الرياضية المكتوبة بخط اليد (HMER) على شبكات المُشفر-المُفكك (Encoder-Decoder)، والتي تتنبأ مباشرة بالتواليات العلامية من صور المعادلات باستخدام آلية الانتباه (Attention Mechanism). ومع ذلك، قد تفشل مثل هذه الطرق في قراءة المعادلات ذات الهيكل المعقد أو إنتاج تواليات علامية طويلة، نظرًا لأن نتائج الانتباه غالبًا ما تكون غير دقيقة بسبب الاختلاف الكبير في أساليب الكتابة أو الترتيب المكاني. لحل هذه المشكلة، نقترح شبكة غير تقليدية للتعرف على التعبيرات الرياضية المكتوبة بخط اليد تُسمى الشبكة الواعية للعد (Counting-Aware Network - CAN)، والتي تقوم بتحسين مهامين معًا: التعرف على التعبيرات الرياضية المكتوبة بخط اليد وعد الرموز.تحديدًا، قمنا بتصميم وحدة عد ضعيفة الإشراف يمكنها التنبؤ بعدد كل فئة من الرموز دون الحاجة إلى شروحات موضع الرموز على المستوى الفردي، ثم أدرجناها في نموذج مشفر-مُفكك مبني على الانتباه لـ HMER. أثبتت التجارب على مجموعات البيانات المرجعية لـ HMER أن كل من التحسين المشترك ونتائج العد تكون مفيدة في تصحيح أخطاء التنبؤ لنماذج المشفر-المُفكك، وأن CAN تتفوق باستمرار على أفضل الأساليب الحالية. بشكل خاص، مقارنة بنموذج المشفر-المُفكك لـ HMER، فإن الكلفة الزمنية الإضافية الناجمة عن وحدة العد المقترحة هي هامشية. يمكن الحصول على الكود المصدر من الرابط https://github.com/LBH1024/CAN.