ورقة علمية VEGA: فهم مجموعة البيانات الرسومية والنصية

VEGA عبارة عن مجموعة بيانات متعددة الوسائط تركز على فهم الأوراق العلمية. تم اقتراح هذا المشروع من قبل فريق جي رونغ رونغ في جامعة شيامن في عام 2024، وهو مصمم لتقييم وتحسين أداء النماذج عند معالجة المدخلات التي تحتوي على معلومات نصية وصور معقدة. "الورقة ذات الصلة هي"VEGA: تعلم فهم الصور والنصوص المتداخلة في النماذج الكبيرة للرؤية واللغةتحتوي مجموعة البيانات على بيانات نصية وصور من أكثر من 50,000 ورقة علمية، وهي مصممة خصيصًا لمهمة فهم النص والصور المتداخلة (IITC). تتضمن عملية إنشاء مجموعة بيانات VEGA ثلاث خطوات: فرز الأسئلة، وبناء السياق، وتعديل الإجابة. تهدف إلى توفير محتوى نصي وصور متداخل أطول وأكثر تعقيدًا كمدخلات، وتتطلب من النموذج تحديد الصور المرجعية عند الإجابة.

تم استخلاص VEGA من مجموعة بيانات SciGraphQA، وهي مجموعة بيانات لمهام فهم الصور الورقية وتحتوي على 295 ألف زوج من الأسئلة والأجوبة. وبناءً عليه، قام فريق البحث بإجراء ثلاث خطوات: فحص الأسئلة، وبناء السياق، وتعديل الإجابة للحصول على مجموعة بيانات VEGA. يحتوي على 593000 من بيانات التدريب الورقية و2326 من بيانات الاختبار لمهمتين مختلفتين. ويهدف إلى توفير محتوى أطول وأكثر تعقيدًا من النصوص والصور المتشابكة كمدخلات ويتطلب من النموذج تحديد الصور المرجعية عند الإجابة.

• فحص الأسئلة: بعض الأسئلة في مجموعة البيانات الأصلية تفتقر إلى مراجع صور واضحة، مما قد يسبب ارتباكًا عند توسيع معلومات الإدخال إلى صور متعددة.
• بناء السياق: السؤال والإجابة في مجموعة البيانات الأصلية مخصصان لصورة واحدة فقط ولا يوفران سوى القليل من المعلومات السياقية. من أجل توسيع كمية النصوص والصور، قام فريق البحث بتنزيل ملفات المصدر للأوراق ذات الصلة على arxiv وبناء بيانات بطولين: رمز 4k ورمز 8k. يحتوي كل زوج من الأسئلة والأجوبة على ما يصل إلى 8 صور.
• تعديل الإجابة: قام المؤلف بتعديل الإجابات في مجموعة البيانات الأصلية وأشار إلى الصور المشار إليها عند الإجابة لتلبية متطلبات مهمة IITC.