HyperAIHyperAI

Command Palette

Search for a command to run...

OmniVec: تعلم التمثيلات القوية باستخدام المشاركة بين الأوضاع

Siddharth Srivastava Gaurav Sharma

الملخص

معظم الأبحاث في الطرق القائمة على التعلم تركزت على تصميم وتدريب شبكات لمهام محددة. ومع ذلك، فإن العديد من المهام القائمة على التعلم، عبر مختلف الوسائط، تشترك في نقاط مشتركة ويمكن معالجتهاPotentially في إطار مشترك. نقدم نهجًا في هذا الاتجاه لتعلم عدة مهام في وسائط متعددة باستخدام هندسة موحدة. تتكون الشبكة المقترحة من مُشفِّرات خاصة بالمهام، وجذع مشترك في الوسط، يليه رؤوس تنبؤية خاصة بالمهام. نقوم أولاً بتدريبها بشكل ذاتي ومُخَفَّى (self-supervised masked training)، ثم بتدريب تتابعي للمهام المختلفة. ندرب الشبكة على جميع الوسائط الرئيسية مثل البصرية والصوتية والنصية والثلاثية الأبعاد (3D)، ونقدم النتائج على 22 مقاييس عامّة ومتنوعة وتحديّة. نثبت عمليًا أن استخدام شبكة مشتركة لتدريب المهام عبر الوسائط يؤدي إلى تقاسم المعلومات بطريقة ذات معنى، مما يتيح لنا تحقيق أفضل النتائج في معظم المقاييس. كما نظهر قدرة الشبكة المدربة على التعميم في المهام العابرة للوسائط وكذلك في مجموعات بيانات ومهام غير مرئية سابقًا.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp