StructChart: حول المخطط، المقاييس، والتعزيز لفهم الرسوم البيانية البصرية

الرسوم البيانية شائعة في الأدبيات العلمية عبر مختلف المجالات العلمية، حيث تنقل معلومات غنية بسهولة إلى القراء. تتركز المهام الحالية المتعلقة بالرسوم البيانية إما على إدراك الرسوم البيانية الذي ي提取 المعلومات من الرسوم البصرية، أو على استدلال الرسوم البيانية بناءً على البيانات المستخرجة، مثل البيانات الجدولية. في هذا البحث، نقدم إطارًا جديدًا يُسمى StructChart، والذي يستفيد من تمثيلات الثلاثيات المنظمة (STR) لتحقيق نهج موحد وكفء في التسمية للمهام المتعلقة بإدراك واستدلال الرسوم البيانية، وهو قابل للتطبيق بشكل عام على مهام لاحقة مختلفة، وليس فقط مهمة الإجابة على الأسئلة التي تم دراستها بشكل خاص في البحوث السابقة. تحديدًا، يقوم StructChart أولاً بإعادة صياغة بيانات الرسم البياني من الشكل الجدولية (CSV الخطية) إلى STR، مما يمكن أن يقلل بشكل ودي الفجوة بين مهمتي الإدراك والاستدلال. ثم نقترح مقياس تمثيل منظم موجه للرسم البياني (SCRM) لتقييم أداء مهمة إدراك الرسم البياني كمياً. لتعزيز التدريب، نستكشف أيضًا إمكانات النماذج اللغوية الكبيرة (LLMs) لزيادة التنوع في كل من أسلوب العرض البصري للرسم البياني والمعلومات الإحصائية. تظهر التجارب الواسعة التي أجريت على مهام مختلفة مرتبطة بالرسوم البيانية فعالية وإمكانات النموذج الموحد لإدراك واستدلال الرسم البياني في دفع حدود فهم الرسوم البيانية.