KILT: معيار لتقييم المهام اللغوية ذات الكثافة المعرفية

تتطلب المشكلات الصعبة مثل الإجابة على الأسئلة في مجال مفتوح، والتحقق من الحقائق، وتعبئة الحقول، وربط الكيانات الوصول إلى مصادر معرفية خارجية كبيرة. وعلى الرغم من أن بعض النماذج تؤدي بشكل جيد في المهام الفردية، إلا أن تطوير نماذج عامة يظل صعبًا، نظرًا لأن كل مهمة قد تتطلب فهرسة مكلفة حسابيًا لمصادر معرفية مخصصة، بالإضافة إلى بنية تحتية مخصصة. ولإطلاق العنان للبحث في النماذج التي تعتمد على معلومات محددة في موارد نصية كبيرة، نقدّم معيارًا للمهام اللغوية التي تعتمد على المعرفة (KILT). جميع المهام في KILT مبنية على نفس النسخة الثابتة من ويكيبيديا، مما يقلل من زمن التحويل الهندسي من خلال إعادة استخدام المكونات، ويعزز من سرعة البحث في هياكل الذاكرة غير المعتمدة على المهمة. قمنا باختبار نماذج أساسية مخصصة للمهام، ونماذج عامة، مع تقييم الأداء في المهام التالية، بالإضافة إلى قدرة النماذج على تقديم مصدر المعلومات (الأساس). ووجدنا أن استخدام فهرس متجه كثيف مشترك مع نموذج seq2seq يُعد أساسًا قويًا، حيث يتفوق على النماذج المخصصة بشكل دقيق في التحقق من الحقائق والإجابة على الأسئلة في مجال مفتوح والمحادثات، ويحقق نتائج تنافسية في ربط الكيانات وتعبئة الحقول، من خلال إنتاج نصوص مُبَيّتة. يمكن الوصول إلى بيانات وشفرة KILT عبر الرابط: https://github.com/facebookresearch/KILT.