HyperAIHyperAI

Command Palette

Search for a command to run...

التدريب متعدد الحبوب للرؤية واللغة: مواءمة النصوص مع المفاهيم البصرية

Yan Zeng Xinsong Zhang Hang Li

الملخص

معظم الطرق الحالية في التدريب المسبق للرؤية واللغة تعتمد على الخصائص المرتكزة حول الأشياء التي يتم استخراجها من خلال الكشف عن الأشياء وتحقيق التناسق الدقيق بين الخصائص المستخرجة والنماذج النصية. يواجه هذه الطرق تحديًا في تعلم العلاقات بين عدة أشياء. بهدف حل هذا التحدي، نقترح طريقة جديدة تُسمى X-VLM لتنفيذ "التدريب المسبق متعدد الحبوب للرؤية واللغة". المفتاح لتعلم التناسقات متعددة الحبوب هو تحديد المفاهيم البصرية في الصورة بناءً على النماذج النصية المرتبطة بها، وفي الوقت نفسه تحقيق التناسق بين النماذج النصية والمفاهيم البصرية، حيث تكون هذه التناسقات متعددة الحبوب. تظهر نتائج التجارب أن X-VLM تستفيد بشكل فعال من التناسقات متعددة الحبوب التي تم تعلمها في العديد من المهام التطبيقية للرؤية واللغة وتتفوق باستمرار على أفضل الطرق الحالية (state-of-the-art).


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp