التدريب متعدد الحبوب للرؤية واللغة: مواءمة النصوص مع المفاهيم البصرية

معظم الطرق الحالية في التدريب المسبق للرؤية واللغة تعتمد على الخصائص المرتكزة حول الأشياء التي يتم استخراجها من خلال الكشف عن الأشياء وتحقيق التناسق الدقيق بين الخصائص المستخرجة والنماذج النصية. يواجه هذه الطرق تحديًا في تعلم العلاقات بين عدة أشياء. بهدف حل هذا التحدي، نقترح طريقة جديدة تُسمى X-VLM لتنفيذ "التدريب المسبق متعدد الحبوب للرؤية واللغة". المفتاح لتعلم التناسقات متعددة الحبوب هو تحديد المفاهيم البصرية في الصورة بناءً على النماذج النصية المرتبطة بها، وفي الوقت نفسه تحقيق التناسق بين النماذج النصية والمفاهيم البصرية، حيث تكون هذه التناسقات متعددة الحبوب. تظهر نتائج التجارب أن X-VLM تستفيد بشكل فعال من التناسقات متعددة الحبوب التي تم تعلمها في العديد من المهام التطبيقية للرؤية واللغة وتتفوق باستمرار على أفضل الطرق الحالية (state-of-the-art).