Winoground: التحقيق في نماذج الرؤية واللغة لتكوين اللغة البصرية

نقدّم مهمة جديدة ومجموعة بيانات لاختبار قدرة نماذج الرؤية واللغة على إجراء استدلال تكويني بصري-لغوي، وهو ما نسميه "Winoground". المعطى يتكون من صورتين ونصين توضيحيين، والهدف هو ربط كل صورة بملصقها الصحيح — ولكن بشكل حاسم، يحتوي كلا النصين على نفس المجموعة الكلمات تمامًا، ولكن بترتيب مختلف. تم تجميع مجموعة البيانات بعناية من قبل مُعلّقين خبراء، وتم تزويدها بمجموعة غنية من التصنيفات الدقيقة لمساعدة تحليل أداء النماذج. قمنا باختبار مجموعة متنوعة من أحدث نماذج الرؤية واللغة، ووجدنا بشكل مفاجئ أنnone من هذه النماذج تتفوق كثيرًا على التخمين العشوائي. من الواضح أن هذه النماذج ليست بارعة في الاستدلال التكويني البصري-اللغوي كما كنا نأمل. قمنا بتحليل شامل للحصول على رؤى حول كيفية تحسين أداء النماذج في المستقبل. نهدف إلى أن تُعدّ "Winoground" مجموعة تقييم مفيدة لدفع تقدم الحالة الحالية في هذا المجال وتحفيز تطورات مستقبلية. يمكن الوصول إلى مجموعة البيانات من خلال الرابط التالي: https://huggingface.co/datasets/facebook/winoground.