所见即所读？提升文本-图像对齐评估

自动判断文本与对应图像在语义上是否对齐，是视觉-语言模型面临的一项重要挑战，其应用涵盖文本到图像生成以及图像到文本生成等任务。本文研究了自动评估文本-图像对齐性的方法。我们首先提出了SeeTRUE：一个全面的评估数据集，覆盖了来自文本到图像和图像到文本生成任务的多个数据集，并包含人工标注的判断结果，用于判定给定的文本-图像对是否在语义上一致。随后，我们介绍了两种自动判断对齐性的方法：第一种基于问题生成与视觉问答模型的流水线架构；第二种则通过微调多模态预训练模型，采用端到端分类的方法实现对齐判断。两种方法在多种文本-图像对齐任务中均超越了先前的方法，尤其在涉及复杂构图或非自然图像的困难情形下表现出显著提升。最后，我们展示了所提出方法如何精确定位图像与给定文本之间的具体语义偏差，并进一步说明其可用于在文本到图像生成过程中自动对候选图像进行重排序。