PlotQA: الاستدلال على الرسومات العلمية

البيانات المصنعة الحالية (FigureQA، DVQA) التي تهدف إلى الاستدلال على الرسوم البيانية لا تحتوي على تنوع في تسميات البيانات، أو بيانات ذات قيم حقيقية، أو أسئلة استدلال معقدة. نتيجة لذلك، فإن النماذج المقترحة لهذه البيانات لا تواجه التحدي بشكل كامل عند الاستدلال على الرسوم البيانية. بصفة خاصة، يفترضون أن الإجابة تأتي إما من مفردات ثابتة صغيرة الحجم أو من صندوق حدودي داخل الصورة. ومع ذلك، في الواقع، هذا افتراض غير واقعي لأن العديد من الأسئلة تتطلب الاستدلال وبالتالي لديها إجابات ذات قيم حقيقية لا تظهر في مفردات ثابتة صغيرة الحجم ولا في الصورة. في هذا العمل، نسعى إلى جسر هذه الفجوة بين البيانات الموجودة والرسوم البيانية في العالم الحقيقي. بصفة خاصة، نقترح PlotQA الذي يحتوي على 28.9 مليون زوج سؤال-إجابة على 224,377 رسم بياني يستند إلى بيانات من مصادر عالمية حقيقية وأسئلة تستند إلى قوالب أسئلة تم توفيرها من قبل مجموعة من الأشخاص. بالإضافة إلى ذلك، فإن 80.76% من الأسئلة خارج المفردات (OOV) في PlotQA لها إجابات ليست موجودة في مفردات ثابتة.تحليل النماذج الموجودة على PlotQA يكشف أنها غير قادرة على التعامل مع الأسئلة خارج المفردات: دقتها الإجمالية على بياناتنا هي أرقام فردية فقط. وهذا ليس مستغربًا بالنظر إلى أن هذه النماذج لم تصمم لهذا النوع من الأسئلة. كخطوة نحو نموذج أكثر شمولًا يمكنه التعامل مع المفردات الثابتة وكذلك الأسئلة خارج المفردات، نقترح نهجًا هجينًا: يتم الإجابة على الأسئلة الخاصة باختيار الإجابة من مفردات ثابتة أو استخراجها من صندوق حدودي متوقع في الرسم البياني، بينما يتم الإجابة على باقي الأسئلة باستخدام محرك إجابة أسئلة الجداول الذي يتغذى بمعلومات جدول هيكلية يتم إنشاؤها عن طريق الكشف عن العناصر البصرية من الصورة.في مجموعة البيانات DVQA الموجودة، بلغت دقة نموذجنا 58%، مما يمثل تحسينًا كبيرًا مقارنة بدقة أعلى تم الإبلاغ عنها والتي بلغت 46%. أما بالنسبة لـ PlotQA، فقد بلغت دقة نموذجنا 22.52%，وهذا أفضل بكثير من النماذج الأكثر تقدمًا حاليًا (state of the art models).