LAION-SG مجموعة بيانات واسعة النطاق وعالية الجودة لفهم الصور

LAION-SG هي مجموعة بيانات عالية الجودة وواسعة النطاق لفهم الصور تم إنشاؤها بواسطة جامعة تشجيانغ وجامعة جيانغنان وجامعة بكين ومجموعة علي بابا ومجموعة Ant في عام 2024.LAION-SG: مجموعة بيانات مُحسّنة واسعة النطاق لتدريب نماذج الصور والنصوص المعقدة باستخدام التعليقات التوضيحية الهيكليةتحتوي مجموعة LAION-SG على 540,005 أزواج من رسومات المشاهد والصور، مع تعليقات توضيحية للأشياء والسمات والعلاقات، مقسمة إلى مجموعات تدريب وتحقق واختبار. الصور في مجموعة البيانات مستمدة من مجموعة بيانات LAION-Aesthetics V2 (6.5+)، وتستخدم عملية التعليقات التوضيحية GPT-4o للتعليق التوضيحي التلقائي.

بالمقارنة مع مجموعة بيانات LAION-Aesthetics الأصلية، تم تحسين متوسط طول التعليقات التوضيحية ودقة LAION-SG. تحتوي كل عينة في هذه المجموعة من البيانات على متوسط 6.39 كائنًا، مما يزيد من معلومات الكائن بمقدار 20%. إذا تم استبعاد الأسماء المجردة، تزداد هذه الميزة إلى 216%.

تعتبر مجموعة بيانات LAION-SG مناسبة لمجموعة متنوعة من مجالات البحث المتعددة الوسائط للصور والنصوص، بما في ذلك إنشاء وصف للصور، وأنظمة الإجابة على الأسئلة المرئية، ومهام استرجاع الصور، والتي تعتمد جميعها على فهم عميق وتحليل دلالي لمحتوى الصورة.