BenchIE: إطار عمل لتقييم استخراج المعلومات المفتوحة القائمة على الحقائق ذات الجوانب المتعددة

تُجرى التقييمات الداخلية لأنظمة استخراج المعلومات العضوية (OIE) إما يدويًا — من خلال تقييم المُقيّمين البشريين لصحة الاستخراجات — أو تلقائيًا باستخدام معايير معيارية. وعلى الرغم من أن التقييم التلقائي أكثر كفاءة من حيث التكلفة، إلا أنه أقل موثوقية، وذلك أساسًا بسبب عدم اكتمال المعايير الحالية لـ OIE: حيث لا تتضمن الاستخراجات الحقيقية (الحقائق الأساسية) جميع التنويعات المقبولة للحقيقة نفسها، مما يؤدي إلى تقييم غير موثوق لأداء النماذج. علاوةً على ذلك، تتوفر المعايير الحالية لـ OIE فقط باللغة الإنجليزية. في هذا العمل، نقدّم "BenchIE": معيار وتقييم شامل لأنظمة OIE باللغات الإنجليزية والصينية والألمانية. على عكس المعايير الحالية لـ OIE، فإن BenchIE تعتمد على الحقائق، أي أنها تأخذ بعين الاعتبار التكافؤ المعلوماتي للاستخراجات: حيث يتكوّن معيارنا الذهبي من "أزواج الحقائق" (fact synsets)، وهي مجموعات تُدرج فيها جميع الأشكال السطحية المقبولة للحقيقة نفسها بشكل شامل. علاوةً على ذلك، وبمراعاة التطبيقات الشائعة لـ OIE في المهام اللاحقة، نجعل BenchIE متعدد الأوجه؛ أي أننا ننشئ نسخًا مختلفة من المعيار تركز على جوانب مختلفة لتقييم OIE، مثل الإيجاز أو الحد الأدنى من الاستخراجات. قمنا بقياس أداء عدة أنظمة حديثة ومتطورة لـ OIE باستخدام BenchIE، وأظهرنا أن هذه الأنظمة أقل فعالية بكثير مما يشير إليه المعايير الحالية لـ OIE. ونُعلن عن إتاحة BenchIE (البيانات ورمز التقييم) بشكل عام على الرابط التالي: https://github.com/gkiril/benchie.