Pro-Cap：利用冻结的视觉-语言模型进行仇恨表情包检测

仇恨表情包检测是一项具有挑战性的多模态任务，需要同时理解视觉与语言信息，并实现跨模态的交互。近期研究尝试通过微调预训练视觉-语言模型（Pre-trained Vision-Language Models, PVLMs）来应对该任务。然而，随着模型规模的不断增大，单纯依赖微调已难以高效利用强大的PVLMs，因此亟需更高效的利用方式。近期有研究尝试将表情包图像转换为文本描述，并通过提示语言模型进行预测，该方法虽取得较好性能，但存在图像描述信息不足的问题。针对上述两个问题，本文提出一种基于探针（probing-based）的图像描述生成方法，以零样本视觉问答（Zero-shot Visual Question Answering, VQA）的方式高效利用PVLMs。具体而言，我们通过向冻结的PVLM提出与仇恨内容相关的问题进行提示，并将模型的回答作为图像的文本描述（我们称之为Pro-Cap），从而确保生成的描述包含对仇恨内容识别至关重要的信息。在三个基准数据集上的实验结果表明，采用Pro-Cap的模型表现出色，充分验证了所提方法的有效性与泛化能力。