HyperAIHyperAI

Command Palette

Search for a command to run...

منذ 9 أيام

WEAVE: إطلاق القدرة على الفهم والتوظيف المتقاطع في السياق وbenchmarking

WEAVE: إطلاق القدرة على الفهم والتوظيف المتقاطع في السياق وbenchmarking

الملخص

أحدث التطورات في النماذج متعددة الوسائط الموحّدة (UMMs) ساهمت في تقدم ملحوظ في فهم الصور وإنشائها. ومع ذلك، تتركز المجموعات الحالية والاختبارات على التفاعلات أحادية الدور، مما يفشل في التقاط الطبيعة متعددة الدورات والمرتبطة بالسياق التي تتميّز بها عمليات إنشاء الصور وتحريرها في العالم الحقيقي. ولسد هذه الفجوة، نقدّم WEAVE، وهي أول مجموعة شاملة لفهم متداخل عبر الوسائط وتكوينها ضمن السياق. تتكون مجموعتنا من جزأين متكاملين. يتكوّن WEAVE-100k من مجموعة بيانات كبيرة تضم 100 ألف عينة متداخلة، تمتد عبر أكثر من 370 ألف جملة في الحوار و500 ألف صورة، وتغطي مهامًا في الفهم، والتحرير، والإنشاء، والتي تتطلب استنتاجًا مستندًا إلى السياق التاريخي. أما WEAVEBench، فهي مجموعة اختبار مُعلّمة يدويًا تحتوي على 100 مهمة تستند إلى 480 صورة، وتتميز بإطار تقييم هجين يعتمد على نموذج تقييم متعدد الوسائط (VLM)، حيث يأخذ في الاعتبار كلًا من الصورة المرجعية والصورة الأصلية مع تعليمات التحرير معًا، بهدف تقييم قدرات النماذج في الإنشاء متعدد الدورات، والذاكرة البصرية، والاستدلال المعرفي بالعالم عبر مجالات متنوعة. تُظهر التجارب أن التدريب على WEAVE-100k يمكّن النماذج من تطوير قدرات في فهم الرؤية، وتحرير الصور، والتعاون بين الفهم والإنشاء. علاوةً على ذلك، يُسهم ذلك في تمكين النماذج من تطوير قدرات بصرية ذاكرة تظهر بشكل تلقائي، في حين تكشف التقييمات الواسعة على WEAVEBench عن القيود المستمرة والتحديات التي تواجه النهج الحالية في إنشاء الصور وتحريرها متعدد الدورات والمراعي للسياق. نعتقد أن WEAVE تُقدّم منظورًا وقاعدة أساسية لدراسة الفهم والإنشاء المتداخل عبر الوسائط ضمن السياق للمجتمع متعدد الوسائط.

بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — عجّل تطوير الذكاء الاصطناعي الخاص بك من خلال البرمجة المشتركة المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة المشتركة بالذكاء الاصطناعي
وحدات معالجة رسومات جاهزة
أفضل الأسعار
ابدأ الآن

Hyper Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
WEAVE: إطلاق القدرة على الفهم والتوظيف المتقاطع في السياق وbenchmarking | الأوراق البحثية | HyperAI