Dieser Datensatz wurde 2024 gemeinsam von der Zhejiang-Universität, dem Institut für Software der Chinesischen Akademie der Wissenschaften, der ShanghaiTech University und anderen Institutionen veröffentlicht. Die entsprechenden Ergebnisse des Papiers lauten:Multimodaler Selbstunterricht: Unterricht zu synthetischen abstrakten Bildern und visuellem Denken unter Verwendung eines Sprachmodells". Der Datensatz enthält insgesamt 11.193 abstrakte Bilder mit relevanten Fragen und deckt 8 Hauptkategorien ab, darunter Dashboards, Roadmaps, Diagramme, Tabellen, Flussdiagramme, Beziehungsdiagramme, visuelle Rätsel und 2D-Grundrisse, sowie weitere 62.476 Daten zur Feinabstimmung des Modells.

Zitat

@inproceedings{zhang-etal-2024-multimodal,
title = "Multimodal Self-Instruct: Synthetic Abstract Image and Visual Reasoning Instruction Using Language Model",
author = "Zhang, Wenqi  and
Cheng, Zhenglin  and
He, Yuanyu  and
Wang, Mengna  and
Shen, Yongliang  and
Tan, Zeqi  and
Hou, Guiyang  and
He, Mingqian  and
Ma, Yanna  and
Lu, Weiming  and
Zhuang, Yueting",
booktitle = "Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing",
year = "2024",
address = "Miami, Florida, USA",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/2024.emnlp-main.1072/",
pages = "19228--19252"}