8 天前

通过大语言模型间的多模态辩论实现可解释的有害表情包检测

Hongzhan Lin, Ziyang Luo, Wei Gao, Jing Ma, Bo Wang, Ruichao Yang
通过大语言模型间的多模态辩论实现可解释的有害表情包检测
摘要

社交媒体时代充斥着大量网络迷因(Internet memes),因此亟需对有害迷因进行准确理解与有效识别。然而,这一任务面临重大挑战,因为迷因中蕴含的隐含意义往往无法通过其表面文字或图像直接表达,具有较强的语义隐蔽性。现有有害迷因检测方法普遍缺乏可读的解释能力,难以揭示此类隐含语义,从而无法为检测决策提供可信依据。本文提出一种可解释的有害迷因检测方法,其核心在于对“无害”与“有害”两种立场所提出的矛盾论据进行推理分析。受大型语言模型(Large Language Models, LLMs)在文本生成与推理方面强大能力的启发,我们首先通过引导多模态LLM之间的辩论,生成源自对立观点的解释性内容。随后,我们设计并微调一个小型语言模型作为“辩论裁判”,用于判断迷因的有害性,从而实现有害性论据与迷因内部固有多模态信息之间的高效融合。在此机制下,我们的模型能够对复杂且隐含的有害性模式进行辩证推理,充分利用来自“无害”与“有害”双方观点的多模态解释信息。在三个公开迷因数据集上的大量实验表明,所提方法在有害迷因检测性能上显著优于现有最先进方法,同时展现出更强的模型预测可解释性,能够清晰揭示判断结果背后的逻辑依据。

通过大语言模型间的多模态辩论实现可解释的有害表情包检测 | 最新论文 | HyperAI超神经