WiRe57: معيار دقيق لاستخراج المعلومات المفتوحة

نقوم ببناء مرجع لمهمة استخراج المعلومات المفتوحة على خمسة وثائق. نعالج بشكل أولي عددًا من القضايا التي تظهر، بما في ذلك الاستدلال والتفصيل (granularity). نسعى إلى تحديد متطلبات المهمة بشكل أفضل. ننتج إرشادات التسمية الخاصة بنا التي تحدد ما هو صحيح لاستخراجه وما ليس كذلك. ومن ثم، نستخدم هذا المرجع لتقييم أنظمة استخراج المعلومات المفتوحة الحالية. نتناول مشكلة تقييم الاستخراجات التي أنتجتها الأنظمة مقابل القيم المرجعية، وهي مشكلة غير بسيطة، ونشارك سكريبت التقييم الخاص بنا. بين السبعة مستخرِجين الذين قارناهم، نجد أن نظام MinIE يحقق أفضل الأداء.