2 个月前

PlotQA:对科学图表的推理

Methani, Nitesh ; Ganguly, Pritha ; Khapra, Mitesh M. ; Kumar, Pratyush
PlotQA:对科学图表的推理
摘要

现有的用于图表推理的合成数据集(如FigureQA、DVQA)并不包含数据标签的变化性、实数值数据或复杂的推理问题。因此,针对这些数据集提出的模型并未完全解决图表推理的挑战。特别是,这些模型假设答案要么来自一个小型固定词汇表,要么来自图像中的一个边界框。然而,在实际应用中,这种假设是不现实的,因为许多问题需要进行推理,其答案既不在小型固定词汇表中也不在图像中出现。在这项工作中,我们旨在弥合现有数据集与现实世界图表之间的差距。具体而言,我们提出了PlotQA,该数据集包含2890万个基于真实数据源的图表上的问答对,并且这些问题模板是由众包方式生成的。此外,在PlotQA中,80.76%的词汇表外(OOV)问题的答案不在固定词汇表中。对现有模型在PlotQA上的分析表明,它们无法处理OOV问题:在我们的数据集上,这些模型的整体准确率仅为个位数。鉴于这些模型并非为处理此类问题而设计,这一结果并不令人意外。为了朝着更加全面的模型迈进,该模型既能应对固定词汇表的问题也能处理OOV问题,我们提出了一种混合方法:特定问题通过从固定词汇表中选择答案或从预测的边界框中提取答案来回答;而其他问题则通过表格问答引擎来回答,该引擎以从图像中检测到的视觉元素生成的结构化表格作为输入。在现有的DVQA数据集上,我们的模型准确率为58%,显著高于此前报告的最高准确率46%。而在PlotQA上,我们的模型准确率为22.52%,明显优于当前最先进的模型。