تم إنشاء مجموعة بيانات بينوكيو بشكل مشترك من قبل باحثين من جامعة تسينغهوا، وجامعة إلينوي في شيكاغو، وجامعة كامبريدج. ويهدف هذا المشروع إلى تقييم شامل لأداء نماذج اللغة الكبيرة (LLMs) في تخزين المعرفة الواقعية وقدرات الاستدلال. **تغطي مجموعة البيانات هذه 20 ألف سؤال واقعي متنوع يغطي مصادر وجداول زمنية ومجالات ومناطق ولغات مختلفة.**تحتوي مجموعة البيانات على 7 مهام مختلفة لاختبار قدرة طلاب الماجستير في القانون على التفكير المتعدد الحقائق، ومعالجة المعرفة المنظمة وغير المنظمة، وتحديد الاختلافات الواقعية الدقيقة، ومقاومة الأمثلة المعادية. يوفر بينوكيو للباحثين أداة قوية لفهم قدرات النماذج على مستويات متعددة مع تعزيز تطوير ماجستير القانون من حيث المعرفة الواقعية.

الاستشهاد

يرجى استخدام مدخل BibTeX أدناه للاستشهاد بمجموعة البيانات هذه:

@article{HuPino2023,
المؤلف = {شومينغ هو و
Junzhe تشن و
شياوتشوان لي و
يوفي قوه و
ليجي ون و
فيليب س. يو و
تشجيانغ قوه}،
العنوان = {نحو فهم المعرفة الواقعية لنماذج اللغة الكبيرة},
المجلة = المؤتمر الدولي الثاني عشر حول تمثيلات التعلم، ICLR 2024، مركز معارض ومؤتمرات ميسي فيينا، النمسا
من 7 مايو 2024 إلى 11 مايو 2024},
الحجم = {2024}،
السنة = {2024}،
url = {https://doi.org/10.48550/arXiv.2310.05177},
دوى = {10.48550/ARXIV.2310.05177}،
نوع الطباعة الإلكترونية = {arXiv}،
eprint = {2310.05177},
الطابع الزمني = {الجمعة، 20 أكتوبر 2023 12:04:38 +0200},
ثنائي بورل = {https://dblp.org/rec/journals/corr/abs-2310-05177.bib},
bibsource = {dblp computer science bibliography, https://dblp.org}
}