使用高效双模融合回答数据可视化问题

图表问答（CQA）是一项新提出的视觉问答（VQA）任务，其中算法必须回答有关数据可视化的提问，例如条形图、饼图和折线图。CQA 需要具备自然图像 VQA 算法所缺乏的能力：细粒度测量、光学字符识别以及处理问题和答案中的词汇表外单词。未经修改的最先进 VQA 算法在这一任务上的表现较差。本文提出了一种新颖的 CQA 算法，称为图像和语言并行递归融合（PReFIL）。PReFIL 首先通过融合问题和图像特征来学习双模态嵌入，然后智能地聚合这些学习到的嵌入以回答给定的问题。尽管其结构简单，但 PReFIL 在 FigureQA 和 DVQA 数据集上显著超越了最先进系统和人类基线。此外，我们还展示了 PReFIL 可以通过针对图表的一系列提问来重建表格。