Lijun Liu Ruiyang Li Zhaocheng Liu Chenglin Zhu Chong Li Jiehan Cheng Qiang Ju Jian Xie

الملخص

استخراج المعلومات البصرية (VIE) يحول الصور الوثائقية غير المهيكلة إلى تنسيقات مهيكلة مثل JSON، وهو أمر حاسم في التطبيقات الطبية مثل تحليل التقارير والاستشارات عبر الإنترنت. تعتمد الطرق التقليدية على تقنية التعرف على الحروف الضوئية (OCR) ونماذج اللغة، بينما تقدم النماذج المتعددة الأوضاع من النهاية إلى النهاية إمكانية إنشاء JSON مباشرة. ومع ذلك، فإن المخططات الخاصة بالمنطقة والتكلفة العالية للشروح تحد من فعاليتها في استخراج المعلومات البصرية الطبية. نعتمد في نهجنا على إطار التعلم التعزيزي مع المكافآت القابلة للتحقق (RLVR) لمعالجة هذه التحديات باستخدام فقط 100 عينة مشروحة. يضمن نهجنا تنوع مجموعة البيانات، آلية مكافأة دقيقة ومتكاملة لتقليل الأوهام وتحسين تغطية الحقول، واستراتيجيات عينات مبتكرة لتعزيز قدرات الاستدلال. من خلال ضبط Qwen2.5-VL-7B بدقة باستخدام طريقة RLVR الخاصة بنا، نحقق أداءً رائدًا في مهام استخراج المعلومات البصرية الطبية، مما يحسن بشكل كبير مؤشر F1 والدقة والاسترجاع. بينما تتفوق نماذجنا في المهام المشابهة لمجموعات البيانات الطبية، تنخفض الأداء في المهام غير المشابهة، مما يؤكد الحاجة إلى التحسين الخاص بالمنطقة. تظهر دراسات الحالة أيضًا قيمة الاستدلال أثناء التدريب والاستدلال لـ VIE.