VisualWordGrid: استخراج المعلومات من المستندات الممسوحة ضوئيًا باستخدام نهج متعدد الوسائط

نُقدِّم نهجًا جديدًا لتمثيل المستندات المُسحوبة لتنفيذ استخراج الحقول. يُمكّن هذا النهج من تشفير النصي والبصري والترتيب معًا في تمثيل ثلاثي الأبعاد (Tensor ثلاثي المحاور) يُستخدم كمدخل لنموذج التجزئة. قمنا بتحسين نماذج Chargrid وWordgrid الحديثة \cite{chargrid} بعدة طرق، أولًا من خلال أخذ الطريقة البصرية بعين الاعتبار، ثم من خلال تعزيز مرونتها في ظل مجموعات بيانات صغيرة مع الحفاظ على زمن الاستدلال منخفض. تم اختبار نهجنا على مجموعات بيانات عامة وخاصة للصور المستندية، حيث أظهر أداءً أفضل مقارنةً بالأساليب الحديثة المُتقدمة.