VNHSGE: مجموعة بيانات امتحان التخرج من المدرسة الثانوية الفيتنامية لنموذج اللغات الكبيرة

يُقدّم هذا المقال مجموعة البيانات VNHSGE (امتحان التخرج من المدرسة الثانوية الفيتنامية)، التي تم تطويرها حصريًا لتقييم النماذج اللغوية الكبيرة (LLMs). تتضمن هذه المجموعة بيانات تغطي تسعة مواضيع، وقد تم إنشاؤها من امتحان التخرج الوطني من المدرسة الثانوية في فيتنام واختبارات مماثلة. تم تضمين 300 مقال أدبي، بالإضافة إلى أكثر من 19,000 سؤال اختياري متعدد يتناول مجموعة واسعة من المواضيع. تقوم مجموعة البيانات بتقييم النماذج اللغوية الكبيرة في حالات متعددة المهام مثل الإجابة على الأسئلة، توليد النصوص، فهم القراءة، الإجابة على الأسئلة البصرية وغيرها، وذلك عبر تضمين بيانات نصية وصور مرفقة.لقد قمنا بتقييم النماذج اللغوية الكبيرة باستخدام ChatGPT وBingChat على مجموعة البيانات VNHSGE، وقمنا بمقارنة أدائهما مع أداء الطلاب الفيتناميين لتحديد مدى جودة أدائهما. أظهرت النتائج أن كلًا من ChatGPT وBingChat يؤديان بأداء يعادل مستوى الإنسان في عدد من المجالات، بما في ذلك الأدب والإنجليزية والتاريخ والجغرافيا والتعليم المدني. ومع ذلك، لا يزال هناك مجال للتحسين خاصةً في مجالات الرياضيات والفيزياء والكيمياء والأحياء. يسعى مشروع مجموعة البيانات VNHSGE إلى توفير مقاييس كافية لتقييم قدرات النماذج اللغوية الكبيرة بفضل تغطيتها الواسعة ومتنوعة الأنشطة. نعتزم تعزيز التطورات المستقبلية في إنشاء النماذج اللغوية الكبيرة عن طريق توفير هذه المجموعة للمجتمع العلمي، وخاصةً في حل حدود النماذج اللغوية الكبيرة في المجالات المتعلقة بالرياضيات والعلوم الطبيعية.