Command Palette
Search for a command to run...
幻觉增强的对比学习用于多模态大语言模型
幻觉增强的对比学习用于多模态大语言模型
Chaoya Jiang Haiyang Xu Mengfan Dong Jiaxing Chen Wei Ye Ming Yan Qinghao Ye Ji Zhang Fei Huang Shikun Zhang
摘要
多模态大语言模型(Multi-modal Large Language Models, MLLMs)已被证明能够高效地融合自然语言与视觉信息,以应对多模态任务。然而,MLLMs 仍面临一个根本性挑战——幻觉(hallucination)问题,即模型倾向于生成错误或虚构的信息。本文从表征学习(representation learning)的新视角出发,针对 MLLMs 中的幻觉问题提出解决方案。我们首先分析了 MLLM 中文本与视觉 token 的表征分布,揭示了两个关键发现:其一,文本与视觉表征之间存在显著差异,表明跨模态表征对齐效果不佳;其二,包含幻觉与不包含幻觉的文本表征高度纠缠,难以有效区分。上述观察启发我们提出一种简洁而高效的方法来缓解幻觉现象。具体而言,我们在 MLLM 中引入对比学习(contrastive learning),将含有幻觉的文本作为难负样本(hard negative examples),从而在训练过程中自然地拉近非幻觉文本与视觉样本的表征距离,同时将非幻觉文本与幻觉文本的表征进一步分离。该方法通过强化模态间一致性与文本真实性判别能力,有效抑制了幻觉生成。我们在多个基准测试上对所提方法进行了定量与定性评估,结果表明该方法在降低幻觉发生率的同时,显著提升了模型在多任务场景下的整体性能。在 MMhal-Bench 基准测试中,相较于基线模型 MiniGPT-4 和 LLaVA,我们的方法分别实现了 34.66% 和 29.5% 的性能提升。相关代码已开源,地址为:https://github.com/X-PLUG/mPLUG-HalOwl/tree/main/hacl。