LayoutReader: التدريب المسبق للنص والتخطيط لاكتشاف ترتيب القراءة

اكتشاف ترتيب القراءة هو الحجر الأساس لفهم الوثائق الغنية بصرياً (مثل الفواتير والنماذج). للأسف، لم تستفد أي من الأعمال السابقة من النماذج العميقة المتقدمة بسبب صعوبة تسمية مجموعة بيانات كافية وكبيرة. نلاحظ أن ترتيب القراءة في وثائق WORD مدمج في بيانات XML الوصفية الخاصة بهم؛ بينما يمكن تحويل هذه الوثائق بسهولة إلى ملفات PDF أو صور. لذلك، وبطريقة آلية، قمنا ببناء ReadingBank، وهو مجموعة بيانات مرجعية تحتوي على معلومات ترتيب القراءة والنص والتخطيط لـ 500,000 صورة وثيقة تغطي طيفًا واسعًا من أنواع الوثائق. تعد هذه المجموعة البيانات الأولى من نوعها على نطاق كبير وتطلق العنان لقدرات الشبكات العصبية العميقة لاكتشاف ترتيب القراءة. بشكل خاص، يلتقط نظام LayoutReader المقترح لدينا المعلومات النصية والتخطيطية لتوقع ترتيب القراءة باستخدام نموذج seq2seq. وقد أظهر أداءً شبه مثالي في اكتشاف ترتيب القراءة وحسّن بشكل كبير محركات OCR المفتوحة المصدر والتجارية في ترتيب سطور النص في نتائجها في تجاربنا. سنقوم بنشر المجموعة البيانات والنظام على الرابط \url{https://aka.ms/layoutreader}.