CascadeTabNet: نهج للكشف عن الجداول وتعرف هيكلها من الوثائق القائمة على الصور بشكل شامل

طريقة التعرف التلقائي على الجداول لتأويل البيانات الجدولية في صور الوثائق تتضمن بشكل رئيسي حل مشكلتين هما كشف الجداول وتعرف هيكلها. العمل السابق كان يشمل حل كل من المشكلتين بشكل مستقل باستخدام نهجين منفصلين. أما الأعمال الأكثر حداثة فتؤكد استخدام حلول تعتمد على التعلم العميق مع محاولة تصميم حل شامل من البداية إلى النهاية. في هذا البحث، نقدم نهجًا محسنًا يعتمد على التعلم العميق ويكون شاملًا من البداية إلى النهاية لحل مشكلتي كشف الجداول وتعرف هيكلها باستخدام نموذج شبكة عصبية تلافيفية (CNN) واحد. نقترح CascadeTabNet: وهو نموذج يستند إلى شبكة Cascade mask Region-based CNN High-Resolution (Cascade mask R-CNN HRNet) التي تكشف المناطق التي تحتوي على جداول وتتعرف على خلايا الجسم الهيكلية من الجداول المكتشفة في الوقت نفسه. قمنا بتقييم نتائجنا على مجموعات البيانات العامة ICDAR 2013 وICDAR 2019 وTableBank. حققنا المركز الثالث في نتائج المسابقة ما بعد ICDAR 2019 لكشف الجداول بينما حصلنا على أفضل دقة للنتائج لمجموعتي بيانات ICDAR 2013 وTableBank. كما حققنا أعلى دقة للنتائج في مجموعة بيانات تعرف هيكل الجداول لـ ICDAR 2019. بالإضافة إلى ذلك، نوضح تقنيات التعلم النقل الفعالة وزيادة الصور التي تمكّن شبكات CNN من تحقيق نتائج دقيقة للغاية لكشف الجداول. تم توفير الكود ومجموعة البيانات عبر الرابط: https://github.com/DevashishPrasad/CascadeTabNet