打破常识：WHOOPS！一个合成与组合图像的视觉-语言基准

奇怪、异常且令人感到诡异的图像之所以能激发观察者的兴趣，是因为它们挑战了人们的常识认知。例如，在2022年世界杯期间发布的一幅图像中，著名足球明星利昂内尔·梅西与克里斯蒂亚诺·罗纳尔多正在下国际象棋，这一画面巧妙地违背了人们对其竞技应发生在足球场上的预期。人类能够轻松识别并理解这类非传统图像，但人工智能模型是否也能做到呢？为此，我们推出了WHOOPS!——一个用于视觉常识推理的新数据集与基准测试。该数据集由设计师利用公开可用的图像生成工具（如Midjourney）精心创作而成，其图像均刻意违背常识，以检验模型的推理能力。我们在该数据集上设定了多项任务，包括图像描述生成、跨模态匹配以及视觉问答。此外，我们还引入了一项具有挑战性的任务：解释生成，要求模型识别并解释某张图像为何显得异常。实验结果表明，当前最先进的模型（如GPT-3和BLIP2）在WHOOPS!上的表现仍显著落后于人类水平。我们希望这一数据集能推动具备更强视觉常识推理能力的人工智能模型的发展。数据集、模型与代码已开放获取，详情请访问项目官网：whoops-benchmark.github.io。