TagAlign：通过多标签分类改进视觉-语言对齐

学习视觉-语言模型的核心在于从视觉和语言数据中提取语义对齐的信息。现有的尝试通常面临粗略对齐的问题，例如，视觉编码器在定位特定属性的对象时存在困难。在这项工作中，我们提出了一种极其简单的方法，可以在不需要额外数据格式的情况下更好地对齐图像和文本特征，仅需图像-文本对即可。具体而言，给定一张图像及其配对的文本描述，我们能够解析出对象（如猫）和属性（如黑色），这些对象和属性很可能存在于图像中。值得注意的是，解析流程完全自动化，因此具有良好的可扩展性。通过这些解析出的语义作为监督信号，我们可以补充常用的图像-文本对比损失函数，加入多标签分类损失函数。广泛的实验结果表明，在多个语义分割数据集上，我们的框架相比现有方法平均提高了5.2%的性能。此外，可视化结果显示，属性监督使得视觉-语言模型能够准确地定位特定属性的对象。项目页面可在 https://qinying-liu.github.io/Tag-Align 查看。