يُعدّ فهم المستندات تقنية ذكاء اصطناعي متعددة الوسائط تجمع بين رؤية الحاسوب ومعالجة اللغة الطبيعية. وتهدف هذه التقنية إلى تمكين الآلات من فهم محتوى المستندات الذي يتضمن معلومات معقدة كالنصوص والصور والجداول وتخطيط الصفحات. وعلى عكس تقنية التعرف الضوئي على الحروف التقليدية، التي تركز فقط على نسخ النصوص، فإن أنظمة فهم المستندات لا تقتصر على التعرف على النصوص فحسب، بل تتعداها إلى تحليل التخطيط المكاني والعناصر المرئية والعلاقات الدلالية بين مختلف عناصر المحتوى داخل المستند، ما يُتيح استخلاص المعلومات وتحليل المحتوى وتنظيم المعرفة.

يعتمد تطوير تقنية فهم المستندات على مجالات متعددة، تشمل التعرف الضوئي على الأحرف (OCR)، وتحليل المستندات، والنماذج المدربة مسبقًا. اعتمدت أنظمة معالجة المستندات المبكرة بشكل أساسي على تقنية التعرف الضوئي على الأحرف (OCR) مع قواعد مصممة يدويًا لإتمام عملية التعرف على النصوص واستخراج الحقول. مع ذلك، عند التعامل مع تنسيقات مستندات معقدة (مثل العقود والفواتير والتقارير والنماذج)، كانت العلاقات المكانية بين النصوص تُفقد بسهولة. في عام 2019، اقترح باحثون في مايكروسوفت للأبحاث في آسيا... LayoutLM: التدريب المسبق للنص والتخطيط لفهم صور المستندات يُعد هذا العمل الأول من نوعه الذي يجمع بين المعلومات النصية ومعلومات تخطيط المستند في نموذج مُدرَّب مسبقًا. ومن خلال نمذجة المحتوى النصي والموقع المكاني ثنائي الأبعاد معًا، يُحسِّن هذا العمل قدرة النموذج على فهم بنية المستند، وقد أصبح عملًا بحثيًا هامًا في مجال فهم المستندات.

مع تطور النماذج المدربة مسبقًا والتعلم متعدد الوسائط، بدأت نماذج فهم المستندات الحديثة بدمج معلومات متنوعة تدريجيًا، مثل النصوص والصور والتصميم. وتُوسّع الطرق التي تمثلها سلسلة نماذج LayoutLM نطاق الترميز الموضعي ثنائي الأبعاد، وخصائص الصور، والتمثيل الدلالي البصري، مما يُمكّن النماذج من التعامل مع سيناريوهات مستندات أكثر تعقيدًا. وقد طُبقت هذه التقنيات على نطاق واسع في مجالات مثل معالجة المستندات الذكية، وتحليل الفواتير المالية، واستخراج معلومات العقود، وإدارة مستندات المؤسسات، وتحليل المستندات الطبية.

يُعالج فهم المستندات بشكل أساسي مشكلة اقتصار طرق التعرف الضوئي على الأحرف التقليدية على استخراج المحتوى النصي فقط، مع صعوبة فهم بنية المستند وعلاقاته الدلالية. ومن خلال التحليل المشترك للمحتوى النصي، والمربعات المحيطة، والخصائص المرئية، يستطيع النموذج تحديد علاقات الحقول، وبنية الجداول، والمعلومات الأساسية داخل المستند، مما يقلل الاعتماد على قوالب القواعد المُنشأة يدويًا. وقد أصبح فهم المستندات حاليًا اتجاهًا تقنيًا هامًا في معالجة المعلومات الذكية للمؤسسات وأنظمة الذكاء الاصطناعي متعددة الوسائط.