HyperAIHyperAI

Command Palette

Search for a command to run...

PosFormer: التعرف على التعبيرات الرياضية المكتوبة بخط اليد المعقدة باستخدام متحول غابة المواقع

Guan Tongkun ; Lin Chengyu ; Shen Wei ; Yang Xiaokang

الملخص

التعرف على التعبيرات الرياضية المكتوبة بخط اليد (HMER) له تطبيقات واسعة في سيناريوهات التفاعل بين الإنسان والآلة، مثل التعليم الرقمي والمكاتب الآلية. مؤخرًا، تم تبني نماذج مبنية على التسلسل ذات هياكل الترميز-التفكيك بشكل شائع لمعالجة هذه المهمة من خلال التنبؤ مباشرة بسلاسل LaTeX للصور التعبيرية. ومع ذلك، فإن هذه الطرق تتعلم قواعد النحو التي توفرها LaTeX بشكل ضمني فقط، مما قد يفشل في وصف الموقع والعلاقة الهرمية بين الرموز بسبب العلاقات الهيكلية المعقدة وأنماط الكتابة المتنوعة.لتغلب على هذا التحدي، نقترح محول الغابة الموضعية (PosFormer) للتعارف على التعبيرات الرياضية المكتوبة بخط اليد، والذي يقوم بتحسين مهامين معًا: التعرف على التعبير والتعرف على الموقع، لتمكين تعلم تمثيل الخصائص الرمزية الواعية بالموقع بشكل صريح. تحديدًا، نقوم أولاً بتصميم غابة مواقع تُمثّل التعبير الرياضي كهيكل غابة وتُحلل العلاقات المكانية النسبية بين الرموز. دون الحاجة إلى ملاحظات إضافية، يتم تعيين محدد موقع لكل رمز في الغابة للإشارة إلى موقعه الفضائي النسبي.ثانيًا، نقترح وحدة تصحيح الانتباه الضمني لتقاطع انتباه دقيق للتعارف على التعبيرات الرياضية المكتوبة بخط اليد في هياكل فك الشفرة القائمة على السلاسل. أثبتت التجارب الواسعة تفوق PosFormer، حيث حقق أفضل النتائج باستمرار مقارنة بأحدث الأساليب بمعدلات زيادة 2.03٪/1.22٪/2.00٪ و 1.83٪ و 4.62٪ على قواعد البيانات CROHME 2014/2016/2019 ومجموعات البيانات متعددة الأسطر M2E والتعبيرات المعقدة MNE على التوالي، دون أي زيادة في الوقت أو الكلفة الحسابية الإضافية. يمكن الحصول على الكود من الرابط https://github.com/SJTU-DeepVisionLab/PosFormer.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp