2 个月前

学习在自然图像中计数物体以用于视觉问答

Yan Zhang; Jonathon Hare; Adam Prügel-Bennett
学习在自然图像中计数物体以用于视觉问答
摘要

视觉问答(VQA)模型在处理自然图像中的物体计数问题时一直面临挑战。我们发现这些模型中软注意力机制存在一个根本性的问题,这是导致计数困难的原因之一。为了解决这一问题,我们提出了一种神经网络组件,该组件可以从物体建议中实现稳健的计数。我们在一个玩具任务上的实验表明了该组件的有效性,并且在VQA v2数据集的数量类别上取得了最先进的准确率,而不会对其他类别产生负面影响,甚至单个模型的表现超过了集成模型。在一个难度较高的平衡对度量指标上,该组件相比强大的基线模型在计数方面提高了6.6%。