このデータセットは、浙江大学、中国科学院ソフトウェア研究所、上海科学技術大学およびその他の機関によって共同で2024年に開始される予定です。関連する論文結果は「」です。マルチモーダル自己指導: 言語モデルを使用した合成抽象画像と視覚的推論の指導”。 データセットには、ダッシュボード、ロードマップ、チャート、表、フローチャート、関係図、ビジュアル パズル、2D フロア プランなどの 8 つのカテゴリをカバーする、追加の 62,476 項目に加えて、関連する質問を含む合計 11,193 枚の抽象画像が含まれています。データは次の目的で使用されます。モデルを微調整します。

引用

@inproceedings{zhang-etal-2024-multimodal,
title = "Multimodal Self-Instruct: Synthetic Abstract Image and Visual Reasoning Instruction Using Language Model",
author = "Zhang, Wenqi  and
Cheng, Zhenglin  and
He, Yuanyu  and
Wang, Mengna  and
Shen, Yongliang  and
Tan, Zeqi  and
Hou, Guiyang  and
He, Mingqian  and
Ma, Yanna  and
Lu, Weiming  and
Zhuang, Yueting",
booktitle = "Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing",
year = "2024",
address = "Miami, Florida, USA",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/2024.emnlp-main.1072/",
pages = "19228--19252"}