Cet ensemble de données a été lancé conjointement par l'Université du Zhejiang, l'Institut des logiciels de l'Académie chinoise des sciences, l'Université ShanghaiTech et d'autres institutions en 2024. Les résultats pertinents de l'article sont "Auto-apprentissage multimodal : enseignement par images synthétiques abstraites et raisonnement visuel à l'aide d'un modèle de langage". L'ensemble de données contient un total de 11 193 images abstraites avec des questions pertinentes, couvrant 8 catégories principales, notamment des tableaux de bord, des feuilles de route, des graphiques, des tableaux, des organigrammes, des diagrammes de relations, des énigmes visuelles et des plans d'étage 2D, en plus de 62 476 données supplémentaires pour affiner le modèle.

Citation

@inproceedings{zhang-etal-2024-multimodal,
title = "Multimodal Self-Instruct: Synthetic Abstract Image and Visual Reasoning Instruction Using Language Model",
author = "Zhang, Wenqi  and
Cheng, Zhenglin  and
He, Yuanyu  and
Wang, Mengna  and
Shen, Yongliang  and
Tan, Zeqi  and
Hou, Guiyang  and
He, Mingqian  and
Ma, Yanna  and
Lu, Weiming  and
Zhuang, Yueting",
booktitle = "Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing",
year = "2024",
address = "Miami, Florida, USA",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/2024.emnlp-main.1072/",
pages = "19228--19252"}