将模因映射到词语以实现多模态仇恨模因分类

多模态图像-文本表情包在互联网上十分普遍，作为一种独特的沟通形式，它们结合了视觉和文本元素来传达幽默、思想或情感。然而，一些表情包却带有恶意，传播仇恨内容并延续歧视。在这种多模态背景下检测仇恨表情包是一项具有挑战性的任务，需要理解文本和图像交织在一起的意义。在这项工作中，我们提出了一种名为ISSUES的新方法来进行多模态仇恨表情包分类。ISSUES利用预训练的CLIP视觉-语言模型和文本反转技术（textual inversion），有效捕捉表情包的多模态语义内容。实验结果表明，我们的方法在Hateful Memes Challenge和HarMeme数据集上取得了最先进的成果。代码和预训练模型已公开发布在https://github.com/miccunifi/ISSUES。