HyperAIHyperAI

Command Palette

Search for a command to run...

مجموعة بيانات عالية الجودة وتقييم موثوق به لتقنيات التوليد المتشابكة للصورة والنص

الملخص

التطورات الحديثة في نماذج متعددة الوسائط الكبيرة (LMMs) قد أحدثت تحسينات كبيرة في فهم وإنتاج البيانات المتعددة الوسائط. ومع ذلك، لا تزال هذه النماذج تعاني من صعوبات في إنتاج مخرجات صورة-نص مترابطة بشكل وثيق، وذلك أساساً بسبب الحجم المحدود وجودة التوجيهات والتعليمات في قواعد البيانات التدريبية الحالية. لحل هذه المشكلة، نقدم "إنترسين" (InterSyn)، وهو مجموعة بيانات متعددة الوسائط على نطاق واسع تم بناؤها باستخدام طريقة التقييم الذاتي مع التكرار (SEIR). يتميز "إنترسين" بالحوار المتعدد الدورات والموجه بالتوجيهات، والذي يتضمن استجابات صورة-نص مترابطة بشكل وثيق، مما يوفر تنوعًا غنيًا بالأجسام وتحسينًا جوديًا آليًا دقيقًا، مما يجعله مناسبًا للغاية لتدريب النماذج المتعددة الوسائط الجيل القادم التي تتبع التعليمات. بالإضافة إلى ذلك، للتعامل مع نقص أدوات التقييم الموثوقة القادرة على تقييم المخرجات المتعددة الوسائط المترابطة، نقدم "سينجوudge" (SynJudge)، وهو نموذج تقييم آلي مصمم لتقييم المخرجات المتعددة الوسائط كميًا على أربعة أبعاد: محتوى النص، ومحتوى الصورة، وجودة الصورة، وتآزر الصورة والنص.دراسات تجريبية أظهرت أن طريقة SEIR تقود إلى تحسين جودة البيانات بشكل كبير مقارنة بعملية متطابقة ولكن دون عملية التكرار. علاوة على ذلك، حققت النماذج المتعددة الوسائط التي تم تدريبها على "إنترسين" زيادة في الأداء بشكل متناسق عبر جميع مقاييس التقييم، مما يؤكد فائدة "إنترسين" في تقدم أنظمة البيانات المتعددة الوسائط.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
مجموعة بيانات عالية الجودة وتقييم موثوق به لتقنيات التوليد المتشابكة للصورة والنص | مستندات | HyperAI