VALSE: معيار مستقل عن المهمة لنموذج الرؤية واللغة مركز على الظواهر اللغوية

نقترح VALSE (تقييم الرؤية واللغة البنيوي)، وهو معيار جديد مصمم لاختبار نماذج الرؤية واللغة (V&L) المدربة بشكل عام على قدراتها في تثبيت الظواهر اللغوية في النمط البصري. يوفر VALSE مجموعة من ست اختبارات تغطي بنى لغوية مختلفة. يتطلب حل هذه الاختبارات من النماذج أن تقوم بتثبيت الظواهر اللغوية في النمط البصري، مما يسمح بإجراء تقييمات أكثر دقة من تلك الممكنة سابقًا. نبني VALSE باستخدام طرق تدعم إنشاء بدائل صالحة، ونقدم نتائج تقييم خمسة نماذج V&L شائعة الاستخدام. تشير تجاربنا إلى أن النماذج الحالية تعاني صعوبات كبيرة في التعامل مع معظم الظواهر. لذلك، نتوقع أن يكون VALSE معيارًا مهمًا لقياس التقدم المستقبلي للنماذج المدربة بشكل مسبق من وجهة نظر لغوية، مما يكمل التقييمات المركزية حول المهام التقليدية لنماذج الرؤية واللغة.