دراسة تحليلية للتركيبية في النماذج الكبيرة التوليدية الرؤية-اللغة

بفضل نجاح نماذج اللغة الكبيرة (LLMs)، تم بناء العديد من النماذج الرؤية-اللغة التوليدية (GVLMs) من خلال التدريب المتعدد الوسائط على التعليمات. ومع ذلك، لا تزال أداءات نماذج GVLM في الاستدلال التكويني متعدد الوسائط غير مُستكشفة بشكل كافٍ. في هذا البحث، نقوم بتحليل مقاييس التقييم (مثل VisualGPTScore) والاختبارات الحالية المستخدمة لتقييم التكوينية في نماذج GVLM. ونُحدد وجود انحياز نحوي في الاختبارات الحالية، والذي تستغل قدرة نماذج GVLM اللغوية على الاستفادة منه. ويؤدي هذا الانحياز إلى جعل مقياس VisualGPTScore غير كافٍ لتقييم أداء نماذج GVLM. لمواجهة هذه المشكلة، نقدم أولًا مقياسًا يُسمى "مقياس الانحياز النحوي" (SyntaxBias Score)، باستخدام نماذج لغة كبيرة لقياس هذا الانحياز وتقليصه. ثم نُضيف مهمة جديدة صعبة لتقييم مدى مقاومة نماذج GVLM للانحياز الداخلي نحو الدقة النحوية. وباستخدام مجموعات البيانات المُخففة من الانحياز والمهمة الجديدة، نقترح معيارًا جديدًا يُسمى "المعيار المُنَقَّص من الانحياز النحوي" (SyntActically DE-biased benchmark، أو SADE). يوفر هذا البحث معيارًا عادلًا لتقييم التكوينية في نماذج GVLM، مما يُسهّل الأبحاث المستقبلية في هذا المجال (كود ومجموعة البيانات متاحة على: https://github.com/TeleeMa/SADE).