TAT-QA: معيار إجابة الأسئلة على مزيج من المحتوى الجدولي والنصي في المالية

تُعد البيانات الهجينة التي تجمع بين المحتوى الجدولي والنصي (مثل التقارير المالية) شائعة جدًا في العالم الحقيقي. ومع ذلك، يُهمل معظم الأبحاث الحالية في مجال إجابة الأسئلة (QA) على هذه البيانات الهجينة. في هذا العمل، استخدمنا عينات من التقارير المالية الحقيقية لبناء مجموعة بيانات جديدة كبيرة الحجم لإجابة الأسئلة تضم كلا النوعين الجدولي والنصي، وسمّيناه TAT-QA، حيث يُطلب غالبًا استنتاج الإجابة باستخدام الاستدلال العددي، مثل الجمع والطرح والضرب والقسمة، والعد، والمقارنة/الترتيب، والتركيبات. كما قمنا بتطوير نموذج جديد لإجابة الأسئلة يُسمى TAGOP، الذي يتمتع القدرة على التفكير والاستدلال على كلا النوعين الجدولي والنصي. ويُطبّق النموذج تقنية التصنيف التسلسلي لاستخراج الخلايا ذات الصلة من الجدول، بالإضافة إلى النصوص ذات الصلة من النص، لاستخلاص معانيها، ثم يُطبّق عملية استدلال رمزي عليها باستخدام مجموعة من مشغّلات التجميع للوصول إلى الإجابة النهائية. وقد حقق نموذج TAGOP تحسنًا بنسبة 58.0% في مؤشر F1، وهو ما يمثل زيادة مطلقة قدرها 11.1% مقارنة بأفضل نموذج قاعدة سابقة، وفقًا لتجاربنا على مجموعة TAT-QA. ومع ذلك، لا يزال هذا الأداء يبقي على فجوة كبيرة مقارنة بأداء الخبير البشري، الذي بلغ 90.8% في مؤشر F1. وقد أظهرت النتائج أن مجموعة TAT-QA تمثل تحديًا كبيرًا، ويمكن أن تُستخدم كمقياس معياري (Benchmark) لتدريب واختبار نماذج إجابة الأسئلة القوية التي تعالج البيانات ذات الشكل الهجين.