HyperAIHyperAI

Command Palette

Search for a command to run...

إلى بناء نماذج أساسية عامة للمهام المتعلقة باللغة والرؤية وفهم الرؤية-اللغة

Xinsong Zhang Yan Zeng Jipeng Zhang Hang Li

الملخص

النماذج الأساسية أو النماذج المُدرَّبة مسبقًا قد عززت بشكل كبير أداء مهام مختلفة في فهم اللغة والرؤية والرؤية-اللغة. ومع ذلك، لا تزال النماذج الأساسية الحالية قادرة على تحقيق أفضل الأداء في نوع واحد فقط من المهام، أي المهام اللغوية أو البصرية أو الرؤية-اللغة. ما إذا كان من الممكن بناء نموذج أساسي يحقق الأداء الأفضل في جميع مهام الفهم ما يزال سؤالًا مفتوحًا، ونُسمّيه في هذا العمل نموذجًا أساسيًا عامًا. في هذه الورقة، نقترح نموذجًا أساسيًا عامًا جديدًا يُدعى X-FM (نموذج الأساس X). يتميز X-FM بمحرك لغوي واحد، ومحرك بصري واحد، ومحرك دمج واحد، بالإضافة إلى طريقة تدريب جديدة. تشمل هذه الطريقة تقنيتين جديدتين لتعلم X-FM من بيانات نصية، وصورية، وبيانات صورة-نص. الأولى هي وقف التدرجات من تدريب الرؤية-اللغة عند تعلم محرك اللغة. والثانية هي الاستفادة من تدريب الرؤية-اللغة لتوجيه تعلم محرك الرؤية. أظهرت التجارب الواسعة على مجموعات بيانات معيارية أن X-FM يمكنه تفوق النماذج الأساسية العامة الحالية بشكل كبير، وأن أداؤه يفوق أو يعادل أداء النماذج الأساسية الحالية المخصصة لمهام فهم اللغة أو الرؤية أو الرؤية-اللغة. تم إصدار الكود والنماذج المُدرَّبة مسبقًا على الرابط: https://github.com/zhangxinsong-nlp/XFM.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
إلى بناء نماذج أساسية عامة للمهام المتعلقة باللغة والرؤية وفهم الرؤية-اللغة | مستندات | HyperAI