مجموعة بيانات معيارية لقدرة فهم السياق الطويل لـ LooGLE

تُعد مجموعة البيانات هذه مجموعة بيانات مرجعية، LooGLE، اقترحها معهد بكين للذكاء الاصطناعي العام (GIAI) وفريق معهد الذكاء الاصطناعي بجامعة بكين لاختبار وتقييم قدرات فهم السياق الطويل للنماذج اللغوية الكبيرة (LLMs).

من خلال تقييم نماذج LLM التسعة الأكثر شيوعًا للنصوص الطويلة، وجدت LooGLE أن أداء هذه النماذج في استرجاع المعلومات المتعددة، وإعادة ترتيب الوقت، والحساب، وقدرات الفهم والاستدلال في المهام المعقدة ذات الاعتماد الطويل ليس متفائلاً. تتمتع النماذج التجارية (Claude3-200k، GPT4-32k، GPT4-8k، GPT3.5-turbo-6k، LlamaIndex) بدقة متوسطة تبلغ 40% فقط، وتتمتع النماذج مفتوحة المصدر (ChatGLM2-6B، LongLLaMa-3B، RWKV-4-14B-pile، LLaMA-7B-32K) بدقة تبلغ 10% فقط.

الورقة البحثية "LooGLE: هل تستطيع نماذج اللغة ذات السياق الطويل فهم السياقات الطويلة؟" تم قبوله من قبل ACL2024. المؤلفون المشاركون في هذه الورقة البحثية هم لي جيا تشي ووانغ مينجمينج من معهد أبحاث الاتصالات، والمؤلفون المراسلون هم تشنغ زيلونج، باحث في معهد أبحاث الاتصالات، وتشانغ موهان، أستاذ مساعد في جامعة بكين.

يعالج LooGLE أوجه القصور في مجموعات البيانات السابقة من خلال توفير نصوص طويلة للغاية، واستخدام مستندات حديثة نسبيًا، ومهام طويلة حقًا مصممة وموضحة بعناية. إن إطلاق مجموعة بيانات معيار LooGLE لا يوفر أدوات جديدة لتقييم وتحسين لغات النصوص الطويلة فحسب، بل يوفر أيضًا اتجاهًا جديدًا لتطوير تقنية معالجة اللغة بالذكاء الاصطناعي.