HyperAIHyperAI

Command Palette

Search for a command to run...

Console
منذ 5 أيام

إمما: فهم وتكوين وتحرير متعدد الوسائط بكفاءة باستخدام معمارية موحدة

Xin He Longhui Wei Jianbo Ouyang Lingxi Xie Qi Tian

إمما: فهم وتكوين وتحرير متعدد الوسائط بكفاءة باستخدام معمارية موحدة

الملخص

نُقدِّم EMMA، وهي معمارية فعّالة وشاملة للفهم، والتكوين، والتحرير متعدد الوسائط. وتمتاز EMMA بشكل رئيسي بـ: 1) مُشَرِّح تلقائي فعّال بعامل ضغط 32x، مما يقلل بشكل كبير من عدد الرموز (tokens) المطلوبة لعملية التوليد. كما يضمن هذا التصميم التوازن في التدريب بين مهام الفهم والتوليد من خلال تطبيق نفس نسبة الضغط على الصور. 2) دمج مُتَوَسِّط حسب القنوات (channel-wise concatenation) بدلًا من الدمج حسب الرموز (token-wise concatenation) بين رموز الفهم البصري وتوليد الصور، مما يقلل إضافيًا من عدد الرموز البصرية في المعمارية الموحّدة. 3) شبكة مشتركة ومتفرّقة (shared-and-decoupled network) التي تُمكّن من تحسين متبادل بين المهام، في الوقت الذي يلبي فيه متطلبات النمذجة المخصصة لكل مهمة. 4) آلية "مزيج الخُبراء" (mixture-of-experts) التي تم تطبيقها في مُشَرِّح فهم الصور، والتي تُحسّن بشكل كبير القدرات الإدراكية مع زيادة طفيفة جدًا في عدد المُعامِلات. أظهرت التجارب الواسعة أن EMMA-4B تتفوّق بشكل ملحوظ على أحدث المعماريّات الموحّدة متعددة الوسائط (مثل BAGEL-7B) من حيث الكفاءة والأداء، كما تحقق نتائج تنافسية مقارنة بالخبراء الحديثين في فهم وتكوين الوسائط (مثل Qwen3-VL وQwen-Image). نعتقد أن EMMA تُشكّل أساسًا متينًا لتطوير المعماريّات الموحّدة متعددة الوسائط في المستقبل.

بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — عجّل تطوير الذكاء الاصطناعي الخاص بك من خلال البرمجة المشتركة المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة المشتركة بالذكاء الاصطناعي
وحدات معالجة رسومات جاهزة
أفضل الأسعار
ابدأ الآن

Hyper Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
إمما: فهم وتكوين وتحرير متعدد الوسائط بكفاءة باستخدام معمارية موحدة | الأوراق البحثية | HyperAI