CoSyn-400K は、ペンシルバニア大学とアレン人工知能研究所が 2025 年に共同でリリースしたマルチモーダル合成質問応答データセットです。コードガイドによる合成マルチモーダルデータ生成によるテキストリッチ画像理解のスケーリング」は、マルチモーダル モデルのトレーニングに高品質でスケーラブルな合成データ リソースを提供することを目的としています。 このデータセットには、化学、数学、栄養学、音楽など 10 の分野を網羅する 40 万件以上の画像とテキストによる質問と回答のペア、9 種類のテキストが豊富な画像 (図表、文書、数学の問題、表、グラフ、ベクター グラフィック、楽譜、回路図、化学構造)、および 270 万行の命令調整データ (画像タイプ、テーマ、コード生成情報など) が含まれており、視覚的な質問と回答のタスクをサポートします。

引用

@article{yang2025scaling,
title={Scaling Text-Rich Image Understanding via Code-Guided Synthetic Multimodal Data Generation},
author={Yang, Yue and Patel, Ajay and Deitke, Matt and Gupta, Tanmay and Weihs, Luca and Head, Andrew and Yatskar, Mark and Callison-Burch, Chris and Krishna, Ranjay and Kembhavi, Aniruddha and others},
journal={arXiv preprint arXiv:2502.14846},
year={2025}
}