مجموعة بيانات عالية الجودة وتقييم موثوق به لتقنيات التوليد المتشابكة للصورة والنص

التطورات الحديثة في نماذج متعددة الوسائط الكبيرة (LMMs) قد أحدثت تحسينات كبيرة في فهم وإنتاج البيانات المتعددة الوسائط. ومع ذلك، لا تزال هذه النماذج تعاني من صعوبات في إنتاج مخرجات صورة-نص مترابطة بشكل وثيق، وذلك أساساً بسبب الحجم المحدود وجودة التوجيهات والتعليمات في قواعد البيانات التدريبية الحالية. لحل هذه المشكلة، نقدم "إنترسين" (InterSyn)، وهو مجموعة بيانات متعددة الوسائط على نطاق واسع تم بناؤها باستخدام طريقة التقييم الذاتي مع التكرار (SEIR). يتميز "إنترسين" بالحوار المتعدد الدورات والموجه بالتوجيهات، والذي يتضمن استجابات صورة-نص مترابطة بشكل وثيق، مما يوفر تنوعًا غنيًا بالأجسام وتحسينًا جوديًا آليًا دقيقًا، مما يجعله مناسبًا للغاية لتدريب النماذج المتعددة الوسائط الجيل القادم التي تتبع التعليمات. بالإضافة إلى ذلك، للتعامل مع نقص أدوات التقييم الموثوقة القادرة على تقييم المخرجات المتعددة الوسائط المترابطة، نقدم "سينجوudge" (SynJudge)، وهو نموذج تقييم آلي مصمم لتقييم المخرجات المتعددة الوسائط كميًا على أربعة أبعاد: محتوى النص، ومحتوى الصورة، وجودة الصورة، وتآزر الصورة والنص.دراسات تجريبية أظهرت أن طريقة SEIR تقود إلى تحسين جودة البيانات بشكل كبير مقارنة بعملية متطابقة ولكن دون عملية التكرار. علاوة على ذلك، حققت النماذج المتعددة الوسائط التي تم تدريبها على "إنترسين" زيادة في الأداء بشكل متناسق عبر جميع مقاييس التقييم، مما يؤكد فائدة "إنترسين" في تقدم أنظمة البيانات المتعددة الوسائط.