FactSpotter: تقييم الولاء الحققي لعمليات التوليد الرسومي-النصي

يُعد إنشاء النص من الرسم البياني (G2T) عملية تأخذ رسمًا بيانيًا كمدخل وتهدف إلى إنتاج تمثيل نصي سلس ودقيق للمعلومات الواردة فيه. ولهذا المهمة تطبيقات عديدة، مثل توليد المحادثات والإجابة على الأسئلة. في هذا العمل، نستكشف إلى أي مدى تم حل مشكلة إنشاء النص من الرسم البياني بالنسبة لمجموعات البيانات التي تم دراستها سابقًا، ونقيم أداء المقاييس المقترحة عند مقارنة النصوص المولدة. وللتغلب على قيود هذه المقاييس، نقترح مقياسًا جديدًا يُعرف بـ "FactSpotter"، والذي يُعدّ قادرًا على تحديد الولاء الفعلي للحقائق بدقة، أي أنه يُحدد ما إذا كان زوج ثلاثي (الفاعل، الفعل، المفعول) مذكورًا في النص المولّد. ونُظهر أن مقياس "FactSpotter" يحقق أعلى ارتباط مع التصنيفات البشرية فيما يتعلق بدقة البيانات، وشمولية البيانات، وعلاقتها بالموضوع. بالإضافة إلى ذلك، يمكن استخدام "FactSpotter" كميزة قابلة للتركيب (plug-in) لتحسين الولاء الفعلي للحقائق في النماذج الحالية. وأخيرًا، نستكشف ما إذا كانت مجموعات البيانات الحالية لـ G2T لا تزال تمثل تحديًا للنماذج الرائدة حاليًا. يُمكن الوصول إلى الكود الخاص بنا عبر الإنترنت: https://github.com/guihuzhang/FactSpotter.