HybridQA: مجموعة بيانات للإجابة على الأسئلة متعددة الخطوات فوق بيانات جدولية ونصية

تركز مجموعات بيانات الإجابة على الأسئلة الحالية على التعامل مع معلومات متجانسة، سواء كانت مبنية فقط على النصوص أو على معلومات قواعد المعرفة (KB) أو الجداول. ومع ذلك، نظرًا لأن المعرفة البشرية موزعة عبر أشكال متنوعة، فإن الاعتماد فقط على معلومات متجانسة قد يؤدي إلى مشاكل كبيرة في التغطية. لسد هذه الفجوة، نقدم مجموعة بيانات جديدة بعنوان HybridQA https://github.com/wenhuchen/HybridQA، وهي مجموعة كبيرة الحجم للإجابة على الأسئلة تتطلب استنتاجًا مبنيًا على معلومات متنوعة. يُربط كل سؤال في هذه المجموعة بجدول من ويكيبيديا وبنصوص حرة متعددة مرتبطة بالكائنات (الكيانات) الموجودة في الجدول. تم تصميم الأسئلة بحيث تتطلب دمجًا بين المعلومات الجدولية والنصية، بحيث يصبح السؤال غير قابل للإجابة في حال غياب أي من الشكلين. قمنا باختبار ثلاثة نماذج مختلفة: 1) نموذج يعتمد فقط على الجداول، 2) نموذج يعتمد فقط على النصوص، 3) نموذج هجين يدمج المعلومات المتنوعة للعثور على الإجابة. أظهرت النتائج التجريبية أن نقاط الدقة (EM) التي حققها النموذجان الأساسيان كانت أقل من 20٪، بينما يمكن للنموذج الهجين تحقيق نسبة EM تتجاوز 40٪. يشير هذا الفجوة إلى ضرورة دمج المعلومات المتنوعة في مجموعة HybridQA. ومع ذلك، لا تزال أداءات النموذج الهجين بعيدة عن الأداء البشري. وبالتالي، تُعدّ HybridQA معيارًا تحديًا فعّالًا لدراسة الإجابة على الأسئلة باستخدام معلومات متنوعة.