RepLiQA عبارة عن مجموعة بيانات محتملة للإجابة على الأسئلة من أجل المقارنة المعيارية

RepLiQA عبارة عن مجموعة بيانات تقييمية تحتوي على ثلاثيات سياق-سؤال-إجابة، حيث يكون السياق عبارة عن مستندات غير واقعية ولكنها تبدو طبيعية حول كيانات خيالية لا وجود لها في الواقع (مثل الأشخاص أو الأماكن). تم إنشاء RepLiQA بشكل مصطنع لاختبار قدرة نماذج اللغة الكبيرة (LLMs) على العثور على المعلومات السياقية واستخدامها في المستندات المقدمة. على عكس مجموعات بيانات الإجابة على الأسئلة الموجودة، فإن طبيعة RepLiQA الخالية من الحقائق تضمن عدم اضطراب أداء النموذج بسبب قدرة LLM على حفظ الحقائق من بيانات التدريب، ويمكن للمرء اختبار قدرة النموذج على استغلال السياق المقدم بثقة أكبر.

تغطي مستندات RepLiQA 17 موضوعًا أو فئة من المستندات، بما في ذلك سياسات الشركة، وأخبار الأمن السيبراني، والتكنولوجيا والابتكار المحلية، والقضايا البيئية المحلية، والفولكلور والأساطير الإقليمية، والسياسة والإدارة المحلية، وقصص الأخبار، والاقتصاد والسوق المحلية، ونظام التعليم المحلي، والفنون والثقافة المحلية، والأخبار المحلية، والمؤسسات الصغيرة والمتوسطة الحجم، وتقارير الأحداث، والطعام والوصفات الإقليمية، وقصص المجتمع، والرياضات والأنشطة المحلية، والصحة والرفاهية المحلية. يتم شرح المستندات غير الواقعية في هذه المواضيع، والتي تغطي الكيانات الخيالية/المختلقة التي لم يتم توثيقها في أي مكان. تحتوي كل وثيقة على 5 أزواج من الأسئلة والأجوبة.