18 天前

ArtQuest:应对ArtVQA中的隐性语言偏见

{Gerard de Melo, Sedigheh Eslami, Tibor Bleidt}
ArtQuest:应对ArtVQA中的隐性语言偏见
摘要

视觉问答(Visual Question Answering, VQA)任务在通用领域的真实世界图像上已得到广泛研究。然而,将通用领域VQA的成果迁移到艺术领域(ArtVQA)并非易事,因为艺术领域要求模型能够识别抽象概念、捕捉绘画中的笔触细节与艺术风格,并具备相关的艺术背景知识。这一挑战因高质量数据集的缺乏而进一步加剧。在本研究中,我们揭示了目前唯一公开可用的ArtVQA基准数据集——AQUA数据集中存在的隐性语言偏差。结果表明,绝大多数问题无需依赖视觉信息即可作答,导致ArtVQA中的“V”(视觉)成分形同虚设。为应对这一问题,我们基于SemArt数据集中的结构化信息,构建了一个简洁而实用的新数据集ArtQuest。本文所提出的数据集及复现结果的完整流程均已公开,可访问 https://github.com/bletib/artquest 获取。