GLUE: منصة معيار متعدد المهام وتحليل لفهم اللغة الطبيعية

للتكنولوجيا الفهم اللغوي الطبيعي (NLU) أن تكون مفيدة بشكل كبير، سواء على المستوى العملي أو كموضوع دراسة علمية، يجب أن تكون عامة: يجب أن تتمكن من معالجة اللغة بطريقة ليست مخصصة حصريًا لأي مهمة أو مجموعة بيانات معينة. في إطار السعي لتحقيق هذا الهدف، نقدم مقاييس تقييم الفهم اللغوي العام (GLUE)، وهي أداة لتحليل وتقييم أداء النماذج عبر مجموعة متنوعة من المهام القائمة في مجال الفهم اللغوي الطبيعي. GLUE لا تعتمد على أي نموذج بعينه، ولكنها تشجع على مشاركة المعرفة بين المهام لأن بعض المهام لديها بيانات تدريبية محدودة للغاية. كما نوفر اختبارات تشخيصية يدوية الصنع تمكن من تحليل اللهجات اللغوية للنماذج القائمة على الفهم اللغوي الطبيعي بالتفصيل. قمنا بتقييم خطوط الأساس المستندة إلى الأساليب الحالية للتعلم متعدد المهام والنقل التعليمي ووجدنا أنها لا تمنح تحسينات كبيرة فورًا فوق الأداء الإجمالي لتدريب نموذج منفصل لكل مهمة، مما يشير إلى وجود مجال للتحسين في تطوير أنظمة فهم لغوي طبيعي عامة وقوية.