تُعد مجموعة البيانات هذه مجموعة بيانات مرجعية، LooGLE، اقترحها معهد بكين للذكاء الاصطناعي العام (GIAI) وفريق معهد الذكاء الاصطناعي بجامعة بكين لاختبار وتقييم قدرات فهم السياق الطويل للنماذج اللغوية الكبيرة (LLMs).

من خلال تقييم نماذج LLM التسعة الأكثر شيوعًا للنصوص الطويلة، وجدت LooGLE أن أداء هذه النماذج في استرجاع المعلومات المتعددة، وإعادة ترتيب الوقت، والحساب، وقدرات الفهم والاستدلال في المهام المعقدة ذات الاعتماد الطويل ليس متفائلاً. تتمتع النماذج التجارية (Claude3-200k، GPT4-32k، GPT4-8k، GPT3.5-turbo-6k، LlamaIndex) بدقة متوسطة تبلغ 40% فقط، وتتمتع النماذج مفتوحة المصدر (ChatGLM2-6B، LongLLaMa-3B، RWKV-4-14B-pile، LLaMA-7B-32K) بدقة تبلغ 10% فقط.

عنوان البحث هو "LooGLE: هل تستطيع نماذج اللغة ذات السياق الطويل فهم السياقات الطويلة؟تم قبول هذه الورقة البحثية من قِبل ACL2024. المؤلفان الرئيسيان المشاركان هما جياكي لي ومينغ مينغ وانغ من معهد الاتصالات وتكنولوجيا المعلومات، والمؤلفان المراسلان هما زيلونغ تشنغ، الباحث في معهد الاتصالات وتكنولوجيا المعلومات، وموهان تشانغ، الأستاذ المساعد في جامعة بكين.

يعالج LooGLE أوجه القصور في مجموعات البيانات السابقة من خلال توفير نصوص طويلة للغاية، واستخدام مستندات حديثة نسبيًا، ومهام طويلة حقًا مصممة وموضحة بعناية. إن إطلاق مجموعة بيانات معيار LooGLE لا يوفر أدوات جديدة لتقييم وتحسين لغات النصوص الطويلة فحسب، بل يوفر أيضًا اتجاهًا جديدًا لتطوير تقنية معالجة اللغة بالذكاء الاصطناعي.