이 데이터 세트는 저장대학교, 중국과학원 소프트웨어 연구소, 상하이기술대학교 및 기타 기관이 2024년에 공동으로 출시했습니다. 관련 논문 결과는 다음과 같습니다.다중 모드 자기 학습: 언어 모델을 활용한 합성적 추상 이미지 및 시각적 추론 교육". 이 데이터 세트에는 대시보드, 로드맵, 차트, 표, 흐름도, 관계도, 시각적 퍼즐, 2D 평면도를 포함한 8개 주요 범주를 포괄하는 관련 질문이 있는 총 11,193개의 추상 이미지가 포함되어 있으며, 모델을 세부적으로 조정하기 위한 추가 데이터 62,476개도 포함되어 있습니다.

소환

@inproceedings{zhang-etal-2024-multimodal,
title = "Multimodal Self-Instruct: Synthetic Abstract Image and Visual Reasoning Instruction Using Language Model",
author = "Zhang, Wenqi  and
Cheng, Zhenglin  and
He, Yuanyu  and
Wang, Mengna  and
Shen, Yongliang  and
Tan, Zeqi  and
Hou, Guiyang  and
He, Mingqian  and
Ma, Yanna  and
Lu, Weiming  and
Zhuang, Yueting",
booktitle = "Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing",
year = "2024",
address = "Miami, Florida, USA",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/2024.emnlp-main.1072/",
pages = "19228--19252"}