تم إطلاق مجموعة البيانات هذه بشكل مشترك من قبل جامعة تشجيانغ ومعهد البرمجيات التابع للأكاديمية الصينية للعلوم وجامعة شنغهاي للتكنولوجيا ومؤسسات أخرى في عام 2024. نتائج الورقة ذات الصلة هي "التعليم الذاتي متعدد الوسائط: تعليم الصورة المجردة الاصطناعية والاستدلال البصري باستخدام نموذج اللغة". تحتوي مجموعة البيانات على إجمالي 11,193 صورة مجردة مع أسئلة ذات صلة، تغطي 8 فئات رئيسية بما في ذلك لوحات المعلومات وخرائط الطرق والمخططات والجداول ومخططات التدفق ومخططات العلاقات والألغاز المرئية وخطط الطوابق ثنائية الأبعاد، بالإضافة إلى 62,476 بيانات إضافية لضبط النموذج.

الاستشهاد

@inproceedings{zhang-etal-2024-multimodal,
title = "Multimodal Self-Instruct: Synthetic Abstract Image and Visual Reasoning Instruction Using Language Model",
author = "Zhang, Wenqi  and
Cheng, Zhenglin  and
He, Yuanyu  and
Wang, Mengna  and
Shen, Yongliang  and
Tan, Zeqi  and
Hou, Guiyang  and
He, Mingqian  and
Ma, Yanna  and
Lu, Weiming  and
Zhuang, Yueting",
booktitle = "Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing",
year = "2024",
address = "Miami, Florida, USA",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/2024.emnlp-main.1072/",
pages = "19228--19252"}