مجموعة بيانات تقييم المعرفة الواقعية لبينوكيو

تم إنشاء مجموعة بيانات بينوكيو بشكل مشترك من قبل باحثين من جامعة تسينغهوا، وجامعة إلينوي في شيكاغو، وجامعة كامبريدج. ويهدف هذا المشروع إلى تقييم شامل لأداء نماذج اللغة الكبيرة (LLMs) في تخزين المعرفة الواقعية وقدرات الاستدلال.

تغطي مجموعة البيانات هذه 20 ألف سؤال واقعي متنوع يغطي مصادر وجداول زمنية ومجالات ومناطق ولغات مختلفة.تحتوي مجموعة البيانات على 7 مهام مختلفة لاختبار قدرة طلاب الماجستير في القانون على التفكير المتعدد الحقائق، ومعالجة المعرفة المنظمة وغير المنظمة، وتحديد الاختلافات الواقعية الدقيقة، ومقاومة الأمثلة المعادية. يوفر بينوكيو للباحثين أداة قوية لفهم قدرات النماذج على مستويات متعددة مع تعزيز تطوير ماجستير القانون من حيث المعرفة الواقعية.