HyperAIHyperAI

Command Palette

Search for a command to run...

الاستخلاص متعدد المقياس الديناميكي التكيفي الذاتي من النموذج الكبير متعدد الوسائط المُدرّب مسبقًا لتعلم تمثيلات متعددة الوسائط بكفاءة

Zhengyang Liang Meiyu Liang Wei Huang Yawen Li Zhe Xue

الملخص

في السنوات الأخيرة، لاقت النماذج الكبيرة متعددة الوسائط المُدرَّبة مسبقًا اهتمامًا واسعًا بسبب أدائها المتميز في مجموعة متنوعة من التطبيقات متعددة الوسائط. ومع ذلك، فإن الموارد الحسابية الواسعة والبيانات الضخمة المطلوبة لتدريب هذه النماذج تمثل عقبات كبيرة أمام تطبيقها في البيئات التي تفتقر إلى الموارد الحسابية الكافية. ولحل هذه التحديات، نقترح لأول مرة استراتيجية جديدة للاستخلاص التكيفي الديناميكي متعدد المقاييس من النموذج الكبير المُدرَّب مسبقًا متعدد الوسائط، بهدف تعلم تمثيلات متعددة الوسائط بكفاءة. على عكس الطرق الحالية للاستخلاص، تعتمد استراتيجيتنا على منظور متعدد المقاييس، مما يمكّن من استخلاص المعرفة الهيكلية من النموذج الكبير المُدرَّب مسبقًا، وضمان أن يرث النموذج الصغير فهمًا شاملاً ودقيقًا للمعرفة التي يمتلكها النموذج الكبير. ولتحسين كل خسارة استخلاص بطريقة متوازنة وفعالة، نقترح مُوازن خسارة الاستخلاص الديناميكي التكيفي الذاتي، وهو عنصر جديد يُزيل الحاجة إلى ضبط أوزان الخسائر يدويًا، ويوازن تلقائيًا بين كل مصادر الخسارة أثناء عملية الاستخلاص. تعتمد طريقة عملنا على تبسيط النماذج الكبيرة المُدرَّبة مسبقًا باستخدام فقط المخرجات المُخرَجة من النموذج وبيانات الصورة على مستوى الصورة، مما يتطلب موارد حسابية قليلة جدًا. ويُعد هذا النهج الفعّال مناسبًا لتطبيقات متنوعة، ويتيح تطبيق تقنيات متعددة الوسائط المتقدمة حتى في البيئات ذات الموارد المحدودة. وقد أظهرت تجارب واسعة أن طريقة العمل لدينا تحافظ على أداء عالٍ مع تقليل كبير في تعقيد النموذج وتكاليف التدريب. علاوة على ذلك، يُحقق النموذج الصغير المستخلص باستخدام معلومات الصورة فقط أداءً متقدمًا جدًا في مهام الاسترجاع عبر الوسائط، متفوقًا على الطرق السابقة التي تعتمد على معلومات على مستوى المناطق.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
الاستخلاص متعدد المقياس الديناميكي التكيفي الذاتي من النموذج الكبير متعدد الوسائط المُدرّب مسبقًا لتعلم تمثيلات متعددة الوسائط بكفاءة | مستندات | HyperAI