مجموعة بيانات صور Openstory++ واسعة النطاق

تم تطوير مجموعة بيانات Openstory++ بشكل مشترك من قبل جامعة جنوب الصين للتكنولوجيا، وجامعة ويستليك، ومركز أبحاث OPPO الأمريكي، وجامعة الملك عبد الله للعلوم والتكنولوجيا في عام 2024.

تم تصميم Openstory++ لمعالجة المشكلة المتمثلة في أن نماذج إنشاء الصور الحالية تواجه صعوبة في الحفاظ على اتساق المثيلات في سياقات النص الطويلة. إنه يجمع بين التعليقات التوضيحية على مستوى المثيل للصور والنصوص، مما يوفر موردًا غنيًا يمكّنه من إنشاء صور ذات تناسق كبير في سياق النصوص الطويلة. يعتمد تطوير هذه المجموعة من البيانات على فهم عميق لعدم الاتساق في نماذج توليد الصور الحالية عند التعامل مع السرديات المعقدة. من خلال استخراج الإطارات الرئيسية الآلي، وتوليد الترجمة باستخدام نماذج اللغة البصرية، وصقل تماسك السرد باستخدام نماذج اللغة الكبيرة، يتم إنشاء مكتبة موارد واسعة النطاق لدعم مهام توليد السرد المعقدة.