ShareGPT4V مجموعة بيانات نصية وصور عالية الجودة واسعة النطاق

مجموعة بيانات ShareGPT4V عبارة عن مجموعة بيانات عالية الجودة تتكون من عدد كبير من أزواج الصور والنصوص. يتم استخدامه لتدريب نموذج اللغة المرئية (VLM) لتحسين قدرات النموذج في فهم الصور وتوليد النصوص. تحتوي مجموعة البيانات على 1.2 مليون زوج من الصور والنصوص التي تعمل على محاذاة الميزات البصرية واللغوية بشكل فعال، وتعزز قدرة النموذج على اتباع التعليمات، وتضمين المزيد من المهام الأكاديمية مثل ScienceQA وTextVQA وSBU وما إلى ذلك. ومن خلال تقديم هذه المجموعة من البيانات، يحقق النموذج تحسنًا كبيرًا في قدرة محاذاة الصور والنصوص، وهو جانب أساسي لتعلم التمثيل المتعدد الوسائط.

تم إصدار مجموعة البيانات هذه بواسطة مختبر الذكاء الاصطناعي بجامعة العلوم والتكنولوجيا في الصين، شنغهاي، في عام 2023.