CoSyn-400K عبارة عن مجموعة بيانات متعددة الوسائط للإجابة على الأسئلة الاصطناعية تم إصدارها بشكل مشترك من قبل جامعة بنسلفانيا ومعهد ألين للذكاء الاصطناعي في عام 2025.توسيع نطاق فهم الصور الغنية بالنصوص من خلال توليد البيانات المتعددة الوسائط الاصطناعية الموجهة بالكود"، والذي يهدف إلى توفير موارد بيانات تركيبية عالية الجودة وقابلة للتطوير لتدريب النموذج المتعدد الوسائط. تحتوي مجموعة البيانات على أكثر من 400000 زوج من أسئلة الصور والنصوص والإجابة عليها، تغطي 10 مجالات مثل الكيمياء والرياضيات والتغذية والموسيقى، و9 أنواع من الصور الغنية بالنص (المخططات والمستندات ومسائل الرياضيات والجداول والرسوم البيانية والرسومات المتجهة والنوتات الموسيقية ومخططات الدوائر والهياكل الكيميائية)، و2.7 مليون سطر من بيانات ضبط التعليمات (مثل نوع الصورة والموضوع ومعلومات إنشاء الكود)، مما يدعم مهام الإجابة على الأسئلة المرئية.

الاستشهاد

@article{yang2025scaling,
title={Scaling Text-Rich Image Understanding via Code-Guided Synthetic Multimodal Data Generation},
author={Yang, Yue and Patel, Ajay and Deitke, Matt and Gupta, Tanmay and Weihs, Luca and Head, Andrew and Yatskar, Mark and Callison-Burch, Chris and Krishna, Ranjay and Kembhavi, Aniruddha and others},
journal={arXiv preprint arXiv:2502.14846},
year={2025}
}